夸克智能信息-大模型训练优化专家-文本/多模态
任职要求
1. 有扎实的工程算法基础,精通数据结构和常用算法,熟练掌握各种编译、调试、性能分析工具; 2. 熟练掌握文本/多模态大模型的模型结构实现和训练方法,有自研模型研发相关经验或多种开源模型开发适配对齐经验者更优; 3. 具备1~2年千卡及以上大模型分布式训练系统建设和性能优化,熟练掌握常见的分布式训练性能优化方法,在DeepEP、FP8、1F1B、超长序列训…
工作职责
1、参与万卡大规模文本及多模态大模型训练框架建设,为Quark、通义等国民级APP的大模型提供持续效果优化能力; 2、参与算法与工程结合的模型结构创新设计,并通过工程实现验证模型性能和训练效率; 3、参与万卡规模训练任务的极致训练效率优化,负责前沿技术的调研、引入和创新,效果验证与落地等工作。
1、负责千卡以上规模文本及多模态大模型强化学习训练框架建设;为Quark、通义等过亿用户,提供大模型后训练能力,持续优化模型效果; 2、负责调研和实现业界先进的强化学习方法,并探索算法工程结合的训练方法创新设计,实现模型性能和训练效率的双提升; 3、负责训练效率极致优化,通过前沿技术的调研、引入,以及机制创新,实现业界领先的训练吞吐能力。
1、 主导/核心参与全模态大模型(文本、图像、视频、音频、3D等)的模型架构与核心算法设计、训练及优化,探索跨模态对齐、多模态融合和原生多模态等前沿技术创新; 2、 开发全模态大模型在具体场景中的应用落地(如实时AI视频通话等方向),将全模态大模型技术与业务需求结合,推动场景化落地; 3、 解决全模态大模型训练和推理的挑战性问题(如模态对齐、长序列建模、高效推理等),跟踪相关领域在学术界与工业界的最新进展等。
1. 多模态大模型训练与优化。围绕文本、图像等多模态数据,构建面向安全领域的垂直大模型,推动在内容理解、风险识别等场景的落地应用。 2. 模型架构设计与迭代。基于现有大模型底座,进行模型结构优化、训练策略设计及效果调优,提升模型在实际业务中的泛化能力与推理效率。 3. 数据处理与标注体系建设。构建高质量的多模态训练数据集,设计合理的标注流程与标准,支撑模型训练与评估。 4. 联合业务方推进模型部署与应用。与产品、工程团队紧密协作,完成模型从训练到上线的全流程闭环,并持续跟踪效果与优化。
1. 跨模态长程预训练:设计并实现文本、图像、视频等多模态对齐与融合的长程训练策略,操控万卡级 GPU 集群,协同 Pretrain / CPT / SFT / RLVR / RLHF 全链路,对超大参数基座模型进行高效分布式优化。 2. 前沿技术攻坚:深入探索 MoE 稀疏化、训练算法与对齐范式创新、可解释性与质量监控、多模态推理、mRAG、百万 Token 级长文处理、Agent&工具链机制等底层原理与技术。 3. 高性能训练框架持续升级:与系统团队共建张量并行、流水并行、混合精度等高性能训练框架,持续提升训练吞吐与稳定性。 4. 学术与行业影响力打造:快速跟踪 NeurIPS / CVPR / ACL 等顶会成果及开源项目,输出专利与论文,树立行业技术标杆 5. 高速驱动夸克AI相关业务:赋能夸克 AI 相机、AI 搜索·深度思考、DeepResearch、创意写作、AI 助手等核心产品,实现多模态能力的快速迭代与落地。 加入我们,你将获得 1. 顶尖资源:与行业专家并肩作战,万卡算力与海量数据随手可用,持续挑战技术天花板。 2. 高速成长:极具竞争力的薪酬福利与纯粹的工程师文化,为你的职业加速。 3. 时代机遇:亲历 AGI 关键技术的诞生与规模化应用,在智能时代留下你的名字。 如果你渴望驰骋于大模型与 AGI 的蓝海,这里就是你的最佳舞台。立即加入我们,共创智能新时代!