夸克算法工程师 - 大模型长程预训练
任职要求
我们希望你 1. 熟悉大模型训练流程,有文本 LLM 或多模态 VLM/Omni 模型的预训练、语料建设、评估基准构建等项目经验者优先; 2. 具备扎实的深度学习理论基础,以及出色的编程实现能力,熟悉深度学习主流框架(如 PyTorch、TensorFlow),有大模型分布式训练经验者优先; 3. 具备良好的科研能力,在相关领域国际顶级会议(ACL、EMNLP、CVPR、ICCV、NeurIPS、ICLR、AAAI 等)有论文发表者优先; 4. 计算机科学、人工智能、电子工程、数学、统计学等相关专业硕士及以上学历优先; 5. 具备快速学习与开拓创新的能力,对 AGI 的未来趋势与挑战有浓厚兴趣。
工作职责
夸克大模型团队致力于自主构建面向未来通用人工智能(AGI)的大模型技术能力。依托领先的工程基础与业务生态,已实现千亿参数规模模型的高效训练与部署,在通用搜索、医疗健康、教育学习、智能创作、职场办公等核心领域形成深度应用。 我们诚邀具备扎实算法功底与研究潜力的优秀应届毕业生加入,围绕大模型的前沿技术展开系统性探索与工程落地,共同推动智能体技术的演进。您将参与: 1. 基座预训练架构优化:操控万卡集群来探索极致的建模方式,提升 LLM 基座的知识、推理、超长序列能力,包括但不限于模型结构(如 MoE、Attention)、优化器、Scaling Law 预测&应用等关键技术; 2. 多模态基座大模型:尽情探索统一文本、视觉、音频多个模态理解和生成的原生多模态大模型,提升模型能力和突破应用边界,包括架构设计(如视觉、音频编解码,不同模态的融合对齐)、训练方法等; 3. 深入数据研究:从不同来源的海量数据中构建丰富全面的数据体系、训练语料,包括清洗与筛选、配比优化、课程学习、数据合成等。
1. 跨模态长程预训练:设计并实现文本、图像、视频等多模态对齐与融合的长程训练策略,操控万卡级 GPU 集群,协同 Pretrain / CPT / SFT / RLVR / RLHF 全链路,对超大参数基座模型进行高效分布式优化。 2. 前沿技术攻坚:深入探索 MoE 稀疏化、训练算法与对齐范式创新、可解释性与质量监控、多模态推理、mRAG、百万 Token 级长文处理、Agent&工具链机制等底层原理与技术。 3. 高性能训练框架持续升级:与系统团队共建张量并行、流水并行、混合精度等高性能训练框架,持续提升训练吞吐与稳定性。 4. 学术与行业影响力打造:快速跟踪 NeurIPS / CVPR / ACL 等顶会成果及开源项目,输出专利与论文,树立行业技术标杆 5. 高速驱动夸克AI相关业务:赋能夸克 AI 相机、AI 搜索·深度思考、DeepResearch、创意写作、AI 助手等核心产品,实现多模态能力的快速迭代与落地。 加入我们,你将获得 1. 顶尖资源:与行业专家并肩作战,万卡算力与海量数据随手可用,持续挑战技术天花板。 2. 高速成长:极具竞争力的薪酬福利与纯粹的工程师文化,为你的职业加速。 3. 时代机遇:亲历 AGI 关键技术的诞生与规模化应用,在智能时代留下你的名字。 如果你渴望驰骋于大模型与 AGI 的蓝海,这里就是你的最佳舞台。立即加入我们,共创智能新时代!
1. 跨模态长程预训练:设计并实现文本、图像、视频等多模态对齐与融合的长程训练策略,操控万卡级 GPU 集群,协同 Pretrain / CPT / SFT / RLVR / RLHF 全链路,对超大参数基座模型进行高效分布式优化。 2. 前沿技术攻坚:深入探索 MoE 稀疏化、训练算法与对齐范式创新、可解释性与质量监控、多模态推理、mRAG、百万 Token 级长文处理、Agent&工具链机制等底层原理与技术。 3. 高性能训练框架持续升级:与系统团队共建张量并行、流水并行、混合精度等高性能训练框架,持续提升训练吞吐与稳定性。 4. 学术与行业影响力打造:快速跟踪 NeurIPS / CVPR / ACL 等顶会成果及开源项目,输出专利与论文,树立行业技术标杆 5. 高速驱动夸克AI相关业务:赋能夸克 AI 相机、AI 搜索·深度思考、DeepResearch、创意写作、AI 助手等核心产品,实现多模态能力的快速迭代与落地。 加入我们,你将获得 1. 顶尖资源:与行业专家并肩作战,万卡算力与海量数据随手可用,持续挑战技术天花板。 2. 高速成长:极具竞争力的薪酬福利与纯粹的工程师文化,为你的职业加速。 3. 时代机遇:亲历 AGI 关键技术的诞生与规模化应用,在智能时代留下你的名字。 如果你渴望驰骋于大模型与 AGI 的蓝海,这里就是你的最佳舞台。立即加入我们,共创智能新时代!
以大模型对话技术为核心,探索前沿技术问题,研究方向主要为垂域模型的研究与构建。目标是为用户提供专属的玩乐变美便捷生活小助手,实现“技术驱动业务范式”的升级转变,最终助力商业价值全面提升。 研究方向一:Agent能力增强 基于Agent的用户助理,研究提升Agent自主规划能力,并通过Agent构建和基于后训练的优化,实现数字助理的能力复刻和增强。 研究方向二:强化学习算法研究 参与大语言模型后训练阶段的强化学习算法研究,包括基于AI和环境反馈的强化学习(RLXF)算法。同时探索奖励模型与反馈机制,研究可泛化的细粒度过程监督和奖励建模,探索基于细粒度反馈的强化学习算法。 研究方向三:垂域模型定制化构建 领域认知智能突破,探索小样本场景自演进架构设计、可信推理机制构建等方向,同时建立面向AGI的模型评价体系新范式。 研究方向四:精准上下文理解与长程依赖建模 研究如何高效、准确地捕获和利用复杂的项目级上下文信息(如整个代码库、依赖关系、API文档、Issue跟踪等),探索能够处理超长代码序列、理解跨文件依赖和项目架构的先进模型结构与表征方法,以支持更精准、更全局的代码智能,从而提升业务研发在存量代码中迭代的效率。