字节跳动大语言模型Code Agent算法工程师-Seed
任职要求
1、优秀的代码能力、数据结构和基础算法功底,熟练使用PyTorch、TensorFlow、JAX等任一深度学习框架; 2、熟悉大模型或RL算法和技术,在相关领域有过良好研究记录者优先; 3、在大模型领域,主导过…
工作职责
1、参与Code Agent方向的大模型算法研发,构建能够理解复杂代码任务、使用开发工具、进行多步推理,并完成真实软件工程任务的智能体系统; 2、提升Code Agent在代码能力、指令遵循、长程任务执行等方向上的核心能力; 3、参与Code Agent的预训练与后训练优化,包括但不限于数据构建、SFT、RL算法、Reward设计,持续提升在真实任务中的问题解决能力、稳定性和泛化能力; 4、构建面向真实软件工程场景的评测体系与数据闭环,包括Benchmark、数据回流和针对性能力优化。
1. 负责大语言模型(LLM)在人形机器人中的算法设计与开发,将LLM应用于机器人的对话、环境感知与人机交互任务 2. 参与大模型从预训练到后训练的全链路流程,深入分析模型对数据的敏感点,通过数据迭代与合成技术推动模型能力提升 3. 基于主流的大规模数据处理框架,参与搭建高效的数据处理 Pipeline,从海量原始数据中“炼金”,让它们转化为可直接驱动模型训练的高质量数据 4. 跟踪前沿研究,推动新技术在产品中的落地应用,根据业务需求,有机会参与LLM团队针对语言模型后训练RL框架的搭建与优化
负责智能体、大语言模型及多模态大语言模型优化,主要涉及到以下工作内容: -大语言模型、多模态大语言模型的提示词工程、调优等 -参与大语言模型/多模态大模型训练、微调及推理优化,提升模型在复杂场景下的泛化与生成能力 -大模型相关研究与应用,包括但不限于视觉-语言模型构建、跨模态内容生成与理解、(多模态)对齐与融合等方向 -基于大模型构建智能体的自动优化机制探索,包含但不限于Agentic推理、自反馈优化等 -基于多智能体协作的内容生产及内容理解、AIGC等
我们正在寻找对大语言模型(LLM)的应用落地、效果调优和系统效能提升充满热情的工程师。您将加入我们的核心研发团队,主要负责将先进的 LLM 技术转化为实际的业务价值,特别是在指令微调(SFT)、智能体(AI Agent)的设计与部署,以及应用基础设施(Infra)的优化。我们的目标是打造高效、可靠、智能的 LLM 应用解决方案,加速模型在人形机器人、自动驾驶、多模态等前沿领域的落地。 1. LLM 微调与应用落地:负责设计并执行 LLM 的指令微调(SFT)和对齐(如 RLHF/DPO)实验,以提升模型在特定应用场景(如代码生成、复杂推理、对话)的表现。主导模型效果的评估体系搭建和优化,确保模型输出的准确性、安全性和一致性。 2. 云端训练框架与效率优化:主导 LLM 微调(SFT/对齐)流程在云端环境下的效率优化,包括数据加载、多机通信、资源调度、框架稳定性等方面,确保 SFT 流程的高效、稳定和低成本运行。 3. 前沿应用技术追踪:紧密追踪 LLM 在 Agent 框架、长上下文处理、多模态交互等应用层面的最新研究与工程实践,并将其快速引入到产品线。 4. AI Agent 研发与部署:探索并实践基于 LLM 的 AI Agent(智能体) 框架,包括工具调用(Tool Use/Function Calling)、规划(Planning)、记忆(Memory)等核心模块的设计与实现。将开发的 Agent 系统集成到实际产品或业务流程中,提升自动化和智能决策能力。 5. 跨团队协作:与算法、数据和产品团队紧密合作,将模型优化成果快速产品化,并收集应用层的反馈来指导下一轮模型迭代。