字节跳动大模型技术运营专家-DMC
任职要求
1、本科及以上学历，计算机科学、人工智能、数学、语言学等相关专业； 2、大模型产品深度用户，对语言模型的应用场景有敏锐的洞察力；同时对大模型评测有深入理解，熟悉常见的大模型评测方法和指标体系； 3、具备较强的运营协调能力，能够有效组织和推动跨部门合作，确保项目顺利执行； 4、掌握PE技术，能灵活运用提示策略提升模型性能，具备良好的数据分析能力，能够从复杂数据中提炼关键信息为决策提供依据； 5、具备良好的沟通能力和文档撰写能力，能够清晰地表达观点和撰写专业报告； 6、有较强的学习能力，能够快速掌握新知识、新技能，适应快速发展的行业环境。
工作职责
1、构建并完善语言模型的评估标准与体系，全面负责大模型在语言能力方面的评测工作，确保评估的准确性与科学性； 2、协调各方资源，与研发、测试、产品等团队紧密合作，高效推进大模型评测项目，保障项目按计划顺利进行； 3、探索创新且高效的模型评测方案，能够根据实际需求推动评测集的构建与落地； 4、深入调研行业内公开的评测方法，及时将有价值的公开评测集整合到内部评测平台，持续丰富评测资源； 5、运用PE技术，优化评测流程与评测准确率，提升模型在不同场景下的表现； 6、分析评测数据，生成详细报告，为模型优化提供有力的数据支持和建设性建议。
1、深入理解AI大模型，了解ToB场景，通过数据挖掘、数据合成、人工构造等方式生产高质量数据集； 2、与算法团队密切协作，积极提供ToB在游戏生成、深度研究、客服、数据分析等Agent场景有针对性的数据合成策略和建议； 2、能通过PE、代码完成数据预处理、分析和清洗，探索更高效的数据生产方式； 4、能通过输出和带教，提升数据团队对技术和大语言模型的了解，推动团队达成业务目标。
1、深入理解AI大模型，了解娱乐AI场景玩法，通过数据挖掘、数据合成、人工构造等方式生产游戏/剧本/故事体验等高质量数据集，对数据生成质量和效率负责； 2、与算法产品团队密切协作，积极提供有针对性的数据合成策略和建议，共同闭环验证数据在模型实验上的有效性，提升数据可用性与价值； 3、能通过PE、代码完成数据预处理、分析和清洗，探索更高效的数据生产方式； 4、通过输出和带教，提升数据团队对技术和大语言模型的了解，教授应用技巧，推动团队达成业务目标。
1、搭建具有通用性和可拓展性的NLP标注框架，与算法团队对齐标准、撰写相关培训方案，根据模型迭代方向提供高质量数据； 2、负责大语言模型训练过程中各阶段数据生产，对自动化链路搭建、数据质量评估及外部资源管理负责，确保大语言模型训练数据有效； 3、能通过PE、代码完成数据预处理、分析和清洗，按照训练需求进行标注、分析和验证调优，提升模型效果； 4、与产品算法团队协同，积极探索自动化数据生产、数据合成等方法，提高数据标注效率，持续跟踪大模型技术进展，持续探索智能高效的数据生产模式。
1、搭建具有通用性和可拓展性的TTS标注框架，与算法团队对齐标准、撰写相关培训方案，根据模型迭代方向提供高质量数据； 2、负责大语言模型训练过程中各阶段数据生产，对自动化链路搭建、数据质量评估及外部资源管理负责，确保大语言模型训练数据有效； 3、能通过PE、代码完成数据预处理、分析和清洗，按照训练需求进行标注、分析和验证调优，提升模型效果； 4、与产品算法团队协同，积极探索自动化数据生产、数据合成等方法，提高数据标注效率，持续跟踪大模型技术进展，持续探索智能高效的数据生产模式。