商汤26届AI领航员-研究院-大模型训练系统研究员
任职要求
1.本科及以上学历、计算机、软件工程等相关专业优先； 2. 3年及以上相关工作经验，有扎实的计算机科学知识，熟练掌握Pytorch，具备良好的编程能力和代码风格； 3. 对AI大模型相关核心技术原理有完整的认识, 熟悉megatron deepspeed等种大模型加速框架； 4.有AI大模型性能调优经验，模型量化和稀疏化经…
工作职责
1. 参与深度学习框架的代码实现,开发框架支持大模型训练、微调能力，提升系统速度和系统稳定性； 2. 持续扩充核心框架的功能和计算能力,优化系统的架构和模型设计,保持一定的业务和技术前瞻性； 3.与产品和测试以及其他研发团队深入协作，解决关键问题，完成研发计划； 4.负责大模型训练相关技术，方案及架构设计沟通、规划、撰写； 5.调研分析海内外产品技术实现，探索创新方向。
1. 负责大模型算法框架的研发，整体提升算法框架训练效率，跟进最近的训练技术； 2. 负责探索MOE、RLHF 等相关对齐技术，提升模型的最终效果； 3. 负责多模态模型和Function Call 模型的联合训练，整体优化多模态模型和语言模型联合训练。
1.负责开发和研究模型自我优化与进化的算法，通过引入先进的自适应学习技术和进化策略，实现模型在面对新数据时的自动调整和优化； 2.设计和实施自我进化机制，包括但不限于在线学习、持续学习和元学习策略，以提升模型对新环境和新任务的适应性； 3.通过周期性的模型评估和反馈循环，确保模型在实际应用中的性能持续提升，同时解决模型过时的问题； 4.负责大模型训练数据生成及管理，包括合成数据生成和真实数据的收集与清洗； 5.负责建立和维护数据处理流程，以提高数据质量和训练效率； 6.负责开发和优化数据监控系统，进行日志数据的智能分析，及时发现并解决数据处理过程中的问题。 7.与数据科学团队合作，确保模型进化策略与数据获取、处理和分析策略的一致性，从而优化整个模型的学习效率和效果。
1.探索大模型后训练的技术边界，持续提升模型的通用人工智能能力； 2.研究强化学习，过程监督等方法在提升模型能力上的最前沿技术； 3.研究长思维链推理中的核心问题，如幻觉抑制，长度压缩等。
1.参与大规模语言模型的训练工作，通过数据质量提升、模型架构创新及训练算法改进等核心手段等手段，持续突破语言模型的性能； 2.基于业务需求设计数据解决方案，包括专业数据生产、合成和集成，确保交付模型能实质性促进业务性能提升； 3.参与模型评测的全流程工作，针对业务场景构建特定的评测集，实现模型能力的精准量化与持续优化； 4.针对大规模数据质量问题，研发高效数据清洗、验证及合成技术，打造行业领先的高价值数据集； 5.追踪全球大模型技术前沿，快速实现创新技术的工程化落地，保持团队技术领先优势。