字节跳动大语言模型算法研究工程师（模型架构优化方向）-Seed
任职要求
1、扎实的代码能力与算法基础，熟练掌握Python/C++；IOI、NOI、ACM/ICPC、Kaggle、NeurIPS等竞赛获奖经历者优先； 2、熟悉大模型训练与优化技术，有模型参数调优经验或CUDA/Triton编程能力者优先； 3、在大模型领域，主导过大影响力的项目或论文者优先； 4、出色的问题分析和解决能力，能深入解决大模型训练和应用存在的问题； 5、良好的沟通协作能力，能和团队一起探索新技术，推进技术进步。
工作职责
团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、设计高效且可靠的模型架构优化方案，确保模型在不同规模下的稳定Scaling； 2、探索超大规模模型性能边界，通过混合精度分布式训练，量化部署等方式优化训练和推理过程； 3、研究下一代模型架构，拓展模型在长文本，推理，科学计算、多模态和具身智能等领域的应用场景。
以大模型对话技术为核心，探索前沿技术问题，研究方向主要为垂域模型的研究与构建。目标是为用户提供专属的玩乐变美便捷生活小助手，实现“技术驱动业务范式”的升级转变，最终助力商业价值全面提升。 研究方向一：Agent能力增强 基于Agent的用户助理，研究提升Agent自主规划能力，并通过Agent构建和基于后训练的优化，实现数字助理的能力复刻和增强。 研究方向二：强化学习算法研究 参与大语言模型后训练阶段的强化学习算法研究，包括基于AI和环境反馈的强化学习（RLXF）算法。同时探索奖励模型与反馈机制，研究可泛化的细粒度过程监督和奖励建模，探索基于细粒度反馈的强化学习算法。 研究方向三：垂域模型定制化构建 领域认知智能突破，探索小样本场景自演进架构设计、可信推理机制构建等方向，同时建立面向AGI的模型评价体系新范式。 研究方向四：精准上下文理解与长程依赖建模 研究如何高效、准确地捕获和利用复杂的项目级上下文信息（如整个代码库、依赖关系、API文档、Issue跟踪等），探索能够处理超长代码序列、理解跨文件依赖和项目架构的先进模型结构与表征方法，以支持更精准、更全局的代码智能，从而提升业务研发在存量代码中迭代的效率。
研究方向一：垂域LLM研究与构建 1.基座模型架构设计与优化：参与大语言模型基座架构的设计，研究前沿技术，如稀疏激活、混合精度训练等，同时优化模型的训练和推理流程。 2.技术创新与突破：参与前沿技术研究，如多任务学习、跨模态理解等，推动模型在复杂任务上的性能提升；探索Transformer替代架构，突破现有模型scaling law限制；同时挑战学术benchmark，为模型的性能树立新的行业标杆。 3.强化学习算法研究：参与大语言模型后训练阶段的强化学习算法研究，包括基于AI和环境反馈的强化学习（RLXF）算法。同时探索奖励模型与反馈机制，研究可泛化的细粒度过程监督和奖励建模，探索基于细粒度反馈的强化学习算法。 4.垂域模型定制化构建：领域认知智能突破，探索小样本场景自演进架构设计、可信推理机制构建等方向，同时建立面向AGI的模型评价体系新范式。 5.跨部门协作与落地：与公司数据科学家、算法工程师、产品团队紧密合作，将研究成果快速转化为实际应用，推动大语言模型在更多场景的落地。 研究方向二：垂域MLLM研究与构建 1.研究多模态表征与大语言模型融合的前沿技术，设计和实现创新算法，研究异质数据的统一编解码模型，适配多种模态下的特征统一，实现高效微调与优化。 2.探索强化学习（RL）在多模态大模型中的应用，包括强化学习增强的多模态生成、跨模态对齐、偏好建模及自适应优化，提升多模态理解与推理能力。 3.持续追踪多模态与强化学习结合的最新研究进展，优化现有多模态系统架构，提升性能、效率与可扩展性，推动多模态强化学习在智能体交互、决策推理等任务中的应用。 4.构建技术评估体系，通过多场景验证推动多模态理解、生成及强化学习优化策略的落地应用，提升多模态大模型的泛化能力和实际应用价值。 研究方向三：基于角色扮演的虚拟数字助理 1. 角色扮演技术（Role-Playing）：通过模型优化、Agent构建，在人设、拟人性、情感等取得显著提升。 2. 记忆管理与增强（Memory）：通过模型长上下文，记忆抽取与管理，提升系统的记忆能力。 3. 个性化技术：通过用户行为数据挖掘与建模，结合多轮对话上下文理解，分析用户情感状态，提升模型的个性化回复能力。 4. 基于Agent的数字助理：通过Agent构建和基于RL的优化，实现数字助理的能力复刻和增强
团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、擅长发现优化大模型的简单、普适的想法，并应用到各个规模的模型中提升效果； 2、探索超大规模模型边界，并进行极致系统优化，提升模型性能和效率； 3、推进数据建设、指令微调、偏好对齐、模型优化方面的工作，提高模型质量和适应性； 4、相关应用落地，包括生成创作、逻辑推理、代码生成等； 5、深入研究和探索模型在未来生活中的更多使用场景，拓展模型的应用范围。
团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、擅长发现优化大模型的简单、普适的想法，并应用到各个规模的模型中提升效果； 2、探索超大规模模型边界，并进行极致系统优化，提升模型性能和效率； 3、推进数据建设、指令微调、偏好对齐、模型优化方面的工作，提高模型质量和适应性； 4、相关应用落地，包括生成创作、逻辑推理、代码生成等； 5、深入研究和探索模型在未来生活中的更多使用场景，拓展模型的应用范围。