通义研究型实习生-LLM自动评测技术
任职要求
- 熟练掌握至少一种编程语言：Python/C++等 - 熟悉机器学习/深度学习基本概念，有机器学习/深度学习相关的研究/项目经历 - 熟悉大语言模型相关技术和开发流程，包括训练/微调、推理、评估等 - 熟悉使用主流的机器学习框架，如PyTorch、DeepSpeed、Megatron等 - 加分项：发表过相关的顶会论文；熟悉强化学习相关技术；参与或主导过LLM相关开源项目
工作职责
背景：大语言模型（LLM）评测是LLM开发和应用中的关键环节。基于模型的自动评测技术，面向复杂任务，例如知识推理（Knowledge Reasoning）、多轮会话（Multi-tern Dialogue）、文本生成（Text generation）等，具有独特的优势，逐渐成为学术界和工业界关注的热点。
涵盖技术点包括：
1. 基于裁判员模型的自动评测技术（Model-based Automatic Evaluation for LLM），涉及LLM/RL相关模型的算法设计、训练、推理等内容
2. 基于模型的自动评测框架设计，裁判员模型在不同任务和细分领域的性能优化大模型的科学知识和文本推理能力是体现大模型智能程度的重要标准，而如何通过大规模算力显著提高大模型的相关能力目前仍是亟待被探索的。本项目旨在研究通过相关预训练数据挖掘合成、专项post-training优化、reward模型构建等技术提升大模型的专项能力并进一步反哺给通用模型。 拟解决的技术问题包括但不限于： -科学、文本推理类预训练数据的高效挖掘、构建 -科学、文本推理类数据的大规模自动合成 -科学、文本推理类能力的自动评测建设 -科学、文本推理类能力的post-training专项优化 -科学、文本推理类能力的reward model专项优化
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动开发者服务团队主要负责公司研发工具体系建设，为开发者提供全技术栈框架、工具和研发体系等基础设施。团队目前在服务端、移动端、Web、桌面端均有深入研究，致力于提供公司全产品线工程效能、可观察性以及各终端技术与框架的基础设施建设。团队还在探索前沿AI技术在工程生产力上的落地与应用，探索研发体系与领域模型的深度融合，实现开发者服务的升级与创新。期待对研发工具体系有兴趣、对技术有追求的同学加入，共同成长！ 1、参与开发者服务型产品建设和算法研究工作；实习内容涉及大模型相关的Prompt、微调、智能体、RAG等方向探索、智能运维、数据工程、AI评测等； 2、持续跟进LLM前沿技术，为团队提供前沿的知识和见解，支持模型效果的研发落地和持续优化。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动开发者服务团队主要负责公司研发工具体系建设，为开发者提供全技术栈框架、工具和研发体系等基础设施。团队目前在服务端、移动端、Web、桌面端均有深入研究，致力于提供公司全产品线工程效能、可观察性以及各终端技术与框架的基础设施建设。团队还在探索前沿AI技术在工程生产力上的落地与应用，探索研发体系与领域模型的深度融合，实现开发者服务的升级与创新。期待对研发工具体系有兴趣、对技术有追求的同学加入，共同成长！ 1、参与开发者服务型产品建设和算法研究工作；实习内容涉及大模型相关的Prompt、微调、智能体、RAG等方向探索、智能运维、数据工程、AI评测等； 2、持续跟进LLM前沿技术，为团队提供前沿的知识和见解，支持模型效果的研发落地和持续优化。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动开发者服务团队主要负责公司研发工具体系建设，为开发者提供全技术栈框架、工具和研发体系等基础设施。团队目前在服务端、移动端、Web、桌面端均有深入研究，致力于提供公司全产品线工程效能、可观察性以及各终端技术与框架的基础设施建设。团队还在探索前沿AI技术在工程生产力上的落地与应用，探索研发体系与领域模型的深度融合，实现开发者服务的升级与创新。期待对研发工具体系有兴趣、对技术有追求的同学加入，共同成长！ 1、参与开发者服务型产品建设和算法研究工作；实习内容涉及大模型相关的Prompt、微调、智能体、RAG等方向探索、智能运维、数据工程、AI评测等； 2、持续跟进LLM前沿技术，为团队提供前沿的知识和见解，支持模型效果的研发落地和持续优化。