米哈游【提前批-大模型】LLM Evaluation算法研究员
任职要求
1、计算机科学、人工智能、机器学习、软件工程或相关领域在读硕士 / 博士。 2、熟悉 LLM 评测方法，对代码生成、代码修复、Agent 评测或自动化测试有实践经验。 3、熟悉 Python，具备较强的数据分析、工程实现和实验复现能力。 4、理解软件工程基本流程，包括 Git、测试框架、CI、Issue / PR 工作流、代码审查和调试流程。 5、对 RLHF、Reward Model、DPO、LLM-as-a-Judge、Execution-based Evaluation 等方向有一定理解。 加分项 1、有 SWE-bench…
工作职责
1、面向代码智能体能力构建评测体系，覆盖代码库理解、Issue 修复、跨文件修改、测试生成、调试定位、命令执行、工具调用和多步任务完成等场景。 2、设计 Repo-level 和 Agent-level 评测集，评估模型在真实软件工程任务中的任务完成率、测试通过率、修改质量、鲁棒性和执行效率。 3、分析 Code Agent 在复杂任务中的失败模式，包括错误定位失败、上下文遗漏、工具调用错误、无效修改、测试误判、循环修复等问题。 4、建立从评测结果到训练数据和 Post-training 策略的反馈闭环，通过 Bad Case 分析指导数据构造、奖励设计和训练策略优化。 5、参与内部 Benchmark、模型能力看板和回归评测系统建设，支持 Code Agent 能力持续迭代。
作为一名核心的预训练数据算法研究员，你将直接参与构建和优化我们核心大语言模型的预训练，并侧重在 code、agentic、reasoning-heavy 类任务的高质量训练数据集搭建；包含但不限于数据收集、合成数据生成、任务行为轨迹构建等。 1.开发并生成用于大模型训练的合成任务与数据集，涵盖两类场景： 可验证类任务：代码解题、数学计算题等； 不可验证类任务：开放式逻辑推理、通用综合问题求解等。 2.搭建并规模化运行多领域数据合成流程，覆盖 agent、code、math、general reasoning； 3.参与搭建 agentic task environments 以及配套的大模型训练评测体系。
作为一名预训练数据算法研究员，你将负责开发大语言模型训练所需的大规模数据处理算法与数据学习策略。 主要负责： 1.针对多源数据设计并开发code类数据、通用文本数据清洗、增强、合成算法； 2.基于大语言模型研发并迭代数据筛选策略，提升预训练语料的数据质量； 3.搭建并规模化优化数据处理流水线，保障高并发场景下的运行性能与稳定性。
1. 专研训练框架，快速定位训练中出现的问题，分析训练过程中的模型表现，跟infra team合作来保证训练策略的正确性 2. 研究不同架构、数据、目标函数和优化方法等各个算法方面的scaling law，总结出高效稳定的预训练策略 3. 紧跟领域前沿技术，研究新型LLM模型架构，提升训练或推理的计算效率和模型性能 4. 拓展模型在长文本方向的理解和生成能力
1. 负责语音多模态训推框架的系统设计、适配与极致优化，深入定制开发主流分布式强化学习框架（如 vLLM, VERL 等） 2. 针对音频/多模态场景特征，确保系统的高可扩展性与稳定性。 3. 协同研究团队，进行算法与系统的联合优化，深度参与超大规模训练方案的调研和落地