字节跳动LLM训练产品经理
任职要求
1、至少三年以上的算法策略产品经理或算法工程师经验；对LLM对齐及相关方法（如SFT和RLHF）有深入的理解； 2、非常熟练的英语（口语和书面）； 3、对LLMs和人类行为有浓厚的兴趣；充满了好奇心，愿意花费时间阅读最新的论文和技术报告； 4、具有协作精神的团队成员；擅长在关注细节的同时，专注于优先目标和大局。
工作职责
字节跳动豆包大模型团队成立于 2023 年，致力于开发业界最先进的 AI 大模型技术，成为世界一流的研究团队，为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心，研究方向涵盖NLP、CV、语音等，在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源，在相关领域持续投入，已推出自研通用大模型，提供多模态能力，下游支持豆包、扣子、即梦等50+业务，并通过火山引擎开放给企业客户。目前，豆包APP已成为中国市场用户量最大的AIGC应用。 1、与业务团队合作，将字节跳动自研的LLM整合到新的和现有的产品及服务中；通过对用户行为和反馈的研究，确定自研LLM的改进空间，以及相应的改进手段； 2、与技术团队合作，定位在非中市场中LLM对齐训练所需的数据； 3、开发对齐数据采集和生产的方法，确保数据质量保持在高标准，并根据定量和定性反馈不断改进流程； 4、评估数据生产工具对数据生产的有效性和质量的影响；利用LLM本身，不断提高人工和合成数据的效率和效果上限。
1、与技术团队合作，定位在海外市场中LLM对齐训练所需的数据； 2、开发对齐数据采集和生产的方法，确保数据质量保持在高标准，并根据定量和定性反馈不断改进流程； 3、评估数据生产工具对数据生产的有效性和质量的影响；不断提高人工和合成数据的效率和效果上限； 4、与业务团队合作，将字节跳动自研的LLM整合到新的和现有的代码产品及服务中；通过对用户行为和反馈的研究，确定自研代码产品的改进空间。
1、负责字节跳动泛体验、泛安全和泛质量领域各业务场景下，LLM算法应用研究与算法落地工作，业务场景包括但不限于风险挖掘/问题发现/信息检索/知识图谱/智能对话/信息总结等； 2、跟踪LLM领域的最新研究成果，用以持续提升算法应用效果，研究方向包括但不限于语言LLM、多模态LLM，Prompt工程/RAG/Agents/SFT/RLHF等LLM相关前沿技术； 3、深度参与产品研发项目，和产品经理/业务研发/业务质量/运营等同学密切配合，提高项目整体效率和收益。
1、项目管理能力优秀，能够主导并管理多个代码类大语言模型（LLM）训练项目，确保按时交付、符合质量标准并达成目标；跟踪项目进展，识别风险，并采取必要的纠正措施以保证项目按计划推进；与产品经理、研究员、数据标注员及其他跨职能团队成员建立并维护良好的合作关系，同步项目进展，解决问题并协调各方期望，确保项目成功交付； 2、流程设计及优化，设计、管理并优化代码类LLM训练项目的工作流程，包括训练设计、质量保证（QA）流程及效果追踪，以满足项目需求；与产品经理、项目负责人及跨职能团队紧密协作，确保质量标准与项目目标保持一致； 3、运营优化，开展质量与效率优化实验，提升代码类训练数据的运营流程；主导并支持跨数据领域的通用标注运营优化计划；制定并维护技术指南及案例手册，确保数据生产的高质量与一致性； 4、数据监控及分析，设计并实施稳健的数据分析策略，系统评估训练集与验证集质量通过统计建模、可视化分析及编程方法，全面监测标注质量、模型表现及数据集覆盖度采用分片评估、提示词敏感性测试及聚类错误分析，精准识别数据缺口、边界案例与失效模式，运用Python（Pandas/NumPy/Matplotlib）及SQL工具链，生成可落地的改进建议，保障数据管道健康度，与模型训练标注员及研发紧密协作，基于数据洞察指导训练策略调整，推动以数据为核心的项目迭代。
1、负责字节跳动DevOps各业务场景中，LLM算法在需求设计、开发、测试、上线等软件工程领域的应用研究及算法落地工作，致力于提升研发效率和测试质量； 2、跟踪LLM领域的最新研究成果，用以持续提升算法应用效果，研究方向包括但不限于语言LLM、多模态LLM，Prompt工程/RAG/Agents/SFT/RLHF等LLM相关前沿技术； 3、深度参与产品研发项目，和产品经理/业务研发/业务质量等同学密切配合，提高项目整体效率和收益。