美团大模型结构和预训练算法实习生
任职要求
1) 有相关方向科研经历/发表过高水平学术论文 2) 熟悉…
工作职责
协助探索下一代大模型预训练范式，从模型结构、训练策略、数据策略、算力利用率等角度切入，打造具有更强能力和更高潜力的基座模型。 1）设计更高效的模型结构，提高给定数据量、计算量、参数量、序列长度等约束下的模型能力，如长序列能力、记忆能力、推理能力等。 2）探索更科学的训练策略，对影响training dynamic的关键变量（如学习率、batchsize、初始化等）形成更科学的认知，探索更适合大模型的optimizer等。 3）研究模型结构和数据的耦合关系；探索预训练与上下游环节的联合优化；改进分阶段训练范式。 4）结合MLsys解决大规模训练和推理中遇到的卡点问题，实现算法和工程联合设计。
1、大模型结构设计：解决模型结构的基础问题，优化模型长窗口效果和性能，通过模型结构优化提升训练效果和训练效率； 2、统一架构：设计并研发多模态大模型理解和生成的统一架构，通过高效Transformer结构、位置编码优化等，实现对图像、视频、文本的深度语义理解与高保真内容生成。
1. 负责结构化数据大模型(Tabular Foundation Model)的研究，探索结构化数据通用智能新范式 2. 负责核心算法的前沿技术探索，包括数据合成、预训练、模型优化等； 3. 大模型算法数据挖掘与优化，提升数据集质量和多样性，并在海量真实业务数据上继续预训练； 4. 负责模型加速与优化，轻量化设计与处理，包括模型剪枝 / 量化等算法研发。
1、大模型与智能体核心能力建设： 围绕销售及大件业务场景，负责大语言模型在意图识别、规划理解、多轮对话、用户画像与偏好洞察、话题与线索分析、知识问答及 chatBI 等核心能力上的应用设计、微调与持续优化，支撑线索智能体、销售助手智能体及大件智能体等关键场景落地。 2、智能体推理链路与多智能体协同设计： 参与线索子智能体、销售助手子智能体、大件智能体与一级、三级销售智能体的大模型协同架构设计，构建基于大模型的多轮推理、任务分解与业务决策链路，提升智能体在复杂销售与大件业务场景下的理解、决策与协同执行能力。 3、智能体工程化与能力复用建设： 设计并持续优化 Prompt、RAG（检索增强生成）、工具调用及 Agent 协作机制，推动大模型、推荐及相关决策能力的工程化落地，保障智能体能力的稳定性、可扩展性与跨场景复用。 4、业务决策模型与数据驱动优化： 结合销售线索质量、智能报价与折扣策略等业务需求，支持折扣方案模型的优化与场景拓展，通过数据挖掘与分析持续评估智能体与模型效果，驱动核心能力的迭代优化与业务价值提升。
1、大模型与智能体核心能力建设： 围绕销售及大件业务场景，负责大语言模型在意图识别、规划理解、多轮对话、用户画像与偏好洞察、话题与线索分析、知识问答及 chatBI 等核心能力上的应用设计、微调与持续优化，支撑线索智能体、销售助手智能体及大件智能体等关键场景落地。 2、智能体推理链路与多智能体协同设计： 参与线索子智能体、销售助手子智能体、大件智能体与一级、三级销售智能体的大模型协同架构设计，构建基于大模型的多轮推理、任务分解与业务决策链路，提升智能体在复杂销售与大件业务场景下的理解、决策与协同执行能力。 3、智能体工程化与能力复用建设： 设计并持续优化 Prompt、RAG（检索增强生成）、工具调用及 Agent 协作机制，推动大模型、推荐及相关决策能力的工程化落地，保障智能体能力的稳定性、可扩展性与跨场景复用。 4、业务决策模型与数据驱动优化： 结合销售线索质量、智能报价与折扣策略等业务需求，支持折扣方案模型的优化与场景拓展，通过数据挖掘与分析持续评估智能体与模型效果，驱动核心能力的迭代优化与业务价值提升。