贝壳大模型算法高阶(J66332)
任职要求
1. 熟悉大模型的原理,具备精调、强化学习等方面的经验; 2. 熟悉自然语言处理常见算法与模型,具备深度学习技术再NLP领域的应用实践; 3. 具备良好的编程实现能力,熟练掌握python、…
工作职责
岗位亮点 1. 团队集前沿技术探索、落地与一身,能够极大的发挥技术价值,未来拥有广阔的前景; 2. 部门业务快速发展,业务落地场景丰富,复杂度高,挑战大,你将拥有快速成长的空间; 工作职责 1. 参与大模型在领域的落地,用LLM洞察分析大规模的数据; 2. 基于大模型、agent思想,研发全新的对话交互项目; 3. 不断探索技术新领域,推动技术能力的沉淀、技术氛围、技术影响力建设;
1. 从flops efficiency角度,对大模型预训练过程进行分析与探索,包括不限于对scaling law的研究,数据的认知实验,MoE等模型架构设计,以及其他工程与算法结合的ml sys相关优化等。 2. 负责原生多模态大模型的构建与预训练,包括各模态分词器设计,合成数据策略,以及跨模态融合训练策略等,提升原生多模态模型在视觉/语音的理解与生成任务上的能力。 3. 进行大模型reasoning能力的相关研究,研究pre-train / test-time compute对于模型推理能力的影响,借助SFT / DPO / self-play等手段,提高模型在代码数学等推理任务上的表现。 4. 通过post-training激发模型在各下游任务上的能力,从而构建具有通用问题解决能力的agent。
我们相信,通向更高阶智能的路径不止于更大的 LLM。 Post-Training 正在成为模型能力跃迁的关键阶段:从“学会语言”走向“理解世界、优化行为、持续进化”。该岗位将深度参与 多模态、强化学习、自进化 Agent 系统 等前沿方向,探索超越纯预训练范式的新能力边界,构建可持续学习、可记忆、可进化的智能系统。 1. Post-Training 核心研究与系统构建 设计并实现面向 推理能力、策略优化和长期表现 的后训练方法 探索 Reasoning RL Scaling、RLAIF for Fuzzy Task、Self-Play、Scalable Oversight 等在大模型中的新用法 将 Post-Training 视为 系统级优化问题,而非单次调参或 reward hacking 2. 强化学习与持续进化机制 设计基于试错和反馈的训练闭环(例如,Natural Language FeedBack),使模型具备自我修正和能力生长 探索 RL 在 边缘能力、长尾任务、工具使用和复杂决策 中的作用 研究长期学习(Lifelong Learning)、稳定性、遗忘控制等关键问题 3. 多模态与“世界建模” 参与多模态模型(尤其是视频、时序感知)的 Post-Training 研究 探索从“语言建模”走向“世界建模”的训练目标与评估方式 研究感知、行动与决策的联合优化,而非简单模态拼接 4. Agent 与自进化系统 构建“可训练的 Agent 系统”,而不仅是工具调用的外壳 设计 Agent 的记忆、学习、反思与策略更新机制 将 Agent 视为一个 持续演化的产品级智能体 5. 新范式与新架构探索 对现有 Attention、NTP 等范式保持批判性思考,例如探索全新的 探索新架构、新目标函数、新训练范式在 Post-Training 中的可能性 参与从模型 → 推理过程 → 自学习环境(System-level Scaling)的演进
1.负责大语言模型(LLM)规划、推理、反思能力的研究,提升大语言模型的高阶推理能力; 2.跟进推理领域的前沿技术,将其应用于混元大模型基座,持续提升大模型的推理能力。