商汤研究院-大语言模型训练框架工程师

前沿探索： 跟踪和研究多模态学习、大语言模型（LLMs）、视觉基础模型等领域的最新进展（如 Transformer、Diffusion Models、VLP等）。 模型构建： 参与多模态基础模型的核心架构设计与实现，探索如何高效融合文本、图像、音频等多源信息。 能力攻坚： 重点攻克并提升模型在特定维度的基础能力，包括但不限于： 视觉文本理解： 提升复杂场景下的文字识别（Scene Text Recognition）与光学字符识别（OCR）的精度和鲁棒性。 布局与结构感知： 让模型理解文档、网页、UI界面的布局结构，实现精准的信息提取与问答。 空间关系推理： 训练模型理解图像/视频中物体之间的方位、遮挡、从属等空间关系。 实验与优化： 设计和执行大规模的深度学习实验，对模型进行训练、评估和迭代优化，并分析实验结果，沉淀技术方案。 协作共创： 与团队中的顶尖科学家和资深工程师紧密合作，共同解决研究与工程中的挑战。

1.负责开发和研究模型自我优化与进化的算法，通过引入先进的自适应学习技术和进化策略，实现模型在面对新数据时的自动调整和优化； 2.设计和实施自我进化机制，包括但不限于在线学习、持续学习和元学习策略，以提升模型对新环境和新任务的适应性； 3.通过周期性的模型评估和反馈循环，确保模型在实际应用中的性能持续提升，同时解决模型过时的问题； 4.负责大模型训练数据生成及管理，包括合成数据生成和真实数据的收集与清洗； 5.负责建立和维护数据处理流程，以提高数据质量和训练效率； 6.负责开发和优化数据监控系统，进行日志数据的智能分析，及时发现并解决数据处理过程中的问题。 7.与数据科学团队合作，确保模型进化策略与数据获取、处理和分析策略的一致性，从而优化整个模型的学习效率和效果。

我们团队将致力于探索新型LLM架构的训练与推理加速技术，推动模型结构与算法层面的创新，全面提升LLM的效率与性能。 1. 研发Diffusion LLM的高效训练与推理框架，实现其推理性能1000倍的提升，突破现有扩散模型在语言生成中的效率瓶颈 2. 和LLM算法研究员合作，通过算法和系统的co-design，加速现有LLM的训练和推理 3. 针对新型LLM优化关键算子与分布式并行计算策略，显著降低其训练与推理成本 4. 开发面向LLM算子与并行计算的自动化优化框架，为算法研究人员提供一站式的自动优化解决方案，显著提升模型结构的开发效率与系统性能。

1. 参与文档解析多模态大模型的研发和迭代，研发高效的强化学习训练与推理系统，解决大规模图文数据处理、算力利用及模型优化问题； 2. 设计并实现适用于多模态大模型的奖励机制，涵盖图文对齐、复杂推理、OCR/文档解析、表格理解、视觉问答、Agent 操作等多模态任务，探索创新性强化学习算法与多模态对齐方法； 3. 构建并优化多模态强化学习流程，包括数据生成、奖励模型训练、策略优化（如 PPO / DPO / GRPO 等）、模型评测与部署，实现模型能力的精准量化与持续优化； 4. 结合业务需求提出创新方案，推动 RL 优化后的多模态大模型在办公自动化、教育、金融等领域落地应用。