美团基座大模型高阶算法/工程
任职要求
1. 对CV、NLP、多模态等相关领域有深入的理解，在其中一个或多个方向有深入的研究经历，且有相关实际项目经验。 2. 对ChatGPT, GPT-4等大模型有深入研究且有实际训练经验者优先。 3. 自驱力强，具备结果导向意识，有良好的协同能力。
工作职责
1. 从flops efficiency角度，对大模型预训练过程进行分析与探索，包括不限于对scaling law的研究，数据的认知实验，MoE等模型架构设计，以及其他工程与算法结合的ml sys相关优化等。 2. 负责原生多模态大模型的构建与预训练，包括各模态分词器设计，合成数据策略，以及跨模态融合训练策略等，提升原生多模态模型在视觉/语音的理解与生成任务上的能力。 3. 进行大模型reasoning能力的相关研究，研究pre-train / test-time compute对于模型推理能力的影响，借助SFT / DPO / self-play等手段，提高模型在代码数学等推理任务上的表现。 4. 通过post-training激发模型在各下游任务上的能力，从而构建具有通用问题解决能力的agent。
1.负责大语言模型（LLM）规划、推理、反思能力的研究，提升大语言模型的高阶推理能力； 2.跟进推理领域的前沿技术，将其应用于混元大模型基座，持续提升大模型的推理能力。
1. 负责Soul社交垂域多模态基座大模型的研发和应用支撑，作为基座支持包括但不限于 多模态理解、多模态生成、多模态对话、实时双工音视频通话、多Agent对话、aigc内容供给、大模型推荐、内容理解、大模型安全等的技术探索 2. 负责Soul个性化大模型的研发，做到面向用户偏好建模的千人千面大模型，从而更适配Soul AI业务落地场景，提升业务落地效率 3. 协助建设AI中台+数据体系，沉淀技术和数据资产，赋能公司AI相关业务
1. 基座大模型预训练，包括但不限于不同规模、不同结构的语言模型和多模态模型的数据准备和优化、模型预训练、训练加速与框架优化等； 2. 大模型对齐技术（SFT、RLHF等）链路整体优化，包括数据探索与增强、对齐流程探索、奖励模型优化、强化学习策略迭代等，持续提升对齐效果； 3. 大模型训练和推理优化，包括但不限于高效训练技术和框架设计与实现、模型小型化技术（稀疏化、压缩、剪枝、蒸馏等）探索与落地、高效推理技术实现等； 4. 大模型相关技术前沿探索，包括但不限于Scaling Law、模型架构探索（MoE、MAMBA等）、训练范式探索、长序列技术探索、高效训推框架探索等； 5. 支撑内部应用需求，对接搜索、推荐、广告等实际业务场景，实现大模型应用落地。
1. 负责VLA大模型的端/云基座大模型架构设计与优化、多模态融合训练策略优化； 2. 参与预训练、COT、逻辑推理、数据合成等数据建设与质量提升； 3. 负责模型轻量化能力建设，蒸馏、kvcache压缩、稀疏注意力机制设计与优化； 4. 负责基座大模型核心能力建设，逻辑推理与决策能力、代码能力等。