夸克千问C端事业群-大模型训练优化专家-文本/多模态
任职要求
1. 有扎实的工程算法基础，精通数据结构和常用算法，熟练掌握各种编译、调试、性能分析工具； 2. 熟练掌握文本/多模态大模型的模型结构实现和训练方法，有自研模型研发相关经验或多种开源模型开发适配对齐经验者更优； 3. 具备1～2年千卡及以上大模型分布式训练系统建设和性能优化，熟练掌握常见的分布式训练性能优化方法，在DeepEP、FP8、1F1B、超长序列训…
工作职责
1、参与万卡大规模文本及多模态大模型训练框架建设，为Quark、通义等国民级APP的大模型提供持续效果优化能力； 2、参与算法与工程结合的模型结构创新设计，并通过工程实现验证模型性能和训练效率； 3、参与万卡规模训练任务的极致训练效率优化，负责前沿技术的调研、引入和创新，效果验证与落地等工作。
千问学习算法团队致力于使用AI技术重塑面向未来的学习体验。在这里您将与我们一起挑战前沿的产品技术问题，并收获服务千万级用户的成就感和影响力。 核心职责： 1. 主导教育场景下多模态大模型（文本/图像/视频）的全流程算法研发工作，包括数据构建、指令微调、RLVR、RLHF等关键环节 2. 针对教学场景设计专属后训练与微调方案（如解题步骤生成、作业批改、互动答疑等），提升核心模型的专业性与可用性 3. 跟进业界最新进展和SOTA模型和算法，并与教育场景特点进行深度结合，推动智能化教学和个性化学习落地
1、主导大模型在线推理系统的性能攻坚，构建多节点多GPU的分布式推理架构，实现智能请求调度算法与异构硬件的极致性能调优； 2、研究低bit量化、稀疏化attention等解码加速技术，在保障精度前提下显著降低计算资源消耗； 3、设计高并发场景下的负载均衡方案，构建支持动态扩展的弹性计算架构，优化推理引擎运行时环境，实现毫秒级延迟与高QPS吞吐能力。
1. 负责大模型数据研发方向，为LLM、VLM、ASR、TTS及omni model的训练供给优质语料数据，推动各业务场景提升模型训练效果； 2. 与算法团队协同、搭建各模态数据处理pipeline，利用业界先进技术对数据进行清洗、去重、打标、标注、圈选、打包，交付优质数据进行模型训练，提升整体交付效率和数据质量； 3. 与数据采集团队协同，推动前沿数据获取策略的研发与落地，探索合成数据技术，主动解决特定领域或模-态的数据稀缺与多样性挑战； 4. 构建各模态数据分类&质量体系及数据画像，对数据进行多维度、细粒度分析，基于模型训练效果反馈进行数据挖掘，指导数据收录优化方向，构建数据飞轮。
1、参与境内外互联网网页、文档、代码等文本数据的发现、采集、处理及标注工作，完善相应平台和架构能力； 2、为文本大模型训练供给语料数据，为AI toC应用供给领域优质内容数据； 3、评估并提升训练数据的质量、多样性及标注准确性； 4、通过AI能力来赋能数据建设，提升数据效果及生产效率； 5、与模型及业务研发团队紧密协作，根据训练效果和业务指标反馈持续迭代数据策略。