
商汤26届AI领航员-研究院-大模型算法研究员(模型训练)
任职要求
1. 具有丰富大模型训练实际经验,熟练使用DeepSpeed,Megatron-Lm 等相关训练工具; 2. 具有良好的计算机体系结构基础和代码优化能力; 3. 熟悉大模型(llm)相关算法或者nlp 相关算法,对于pytorch 或者其他机器学习框架有着较深的了解; 4. 有相关论文和大规模训练训练经验者优先。
工作职责
1. 负责大模型算法框架的研发,整体提升算法框架训练效率,跟进最近的训练技术; 2. 负责探索MOE、RLHF 等相关对齐技术,提升模型的最终效果; 3. 负责多模态模型和Function Call 模型的联合训练,整体优化多模态模型和语言模型联合训练。

1. 负责模型压缩算法的研发和实现,包括但不限于模型量化、剪枝、蒸馏等; 2. 负责业务模型在多种场景及对应各异的芯片上的压缩精度提升和保持,包括AIGC(LLM / Stable Diffusion)模型,自动驾驶模型、手机端侧模型等; 3. 负责开发和维护LLM量化部署工具链,调研、复现业界最新的算法,集成工具,并在实际业务中落地, 助力大模型在各个产品线中的应用; 4. 通过分析模型与部署硬件特点,使用软硬结合的优化方案提升模型的速度与精度表现,提升模型压缩能力上限。

1. 负责实现和迭代自然语言处理相关算法,支撑企业数字化业务中的自然语言理解和生成需求,例如信息抽取、文档分析、检索问答、对话交互等; 2. 与工程团队协作,将算法集成到产品中,支撑金融业务场景的迭代优化; 3. 负责某一细分领域的深入算法研究,包括但不限于基础模型开发、对齐研究、推理优化、SFT训练及Agent智能体开发; 4. 设计和开发基于大语言模型(LLM)的智能Agent,优化其在金融场景中的任务规划、工具调用及自主决策能力; 5. 维护相关研究和业务方向的基准(代码、数据、Prompt/Instruction等),将创新算法沉淀为论文、技术报告或专利。

1.负责开发和研究模型自我优化与进化的算法,通过引入先进的自适应学习技术和进化策略,实现模型在面对新数据时的自动调整和优化; 2.设计和实施自我进化机制,包括但不限于在线学习、持续学习和元学习策略,以提升模型对新环境和新任务的适应性; 3.通过周期性的模型评估和反馈循环,确保模型在实际应用中的性能持续提升,同时解决模型过时的问题; 4.负责大模型训练数据生成及管理,包括合成数据生成和真实数据的收集与清洗; 5.负责建立和维护数据处理流程,以提高数据质量和训练效率; 6.负责开发和优化数据监控系统,进行日志数据的智能分析,及时发现并解决数据处理过程中的问题。 7.与数据科学团队合作,确保模型进化策略与数据获取、处理和分析策略的一致性,从而优化整个模型的学习效率和效果。