钉钉(千问办公)悟空事业部-大模型评测-工程师 / 专家

工作描述

任职要求
必备条件
1、学历背景：计算机科学、人工智能、自然语言处理、机器学习或相关专业硕士及以上学历。
2、工作经验：3年以上NLP/LLM相关研发或评测经验，有大规模模型评测体系建设经验者优先。
3、技术基础：
1）扎实的NLP与深度学习基础，深入理解Transformer架构、预训练/微调/RLHF等技术范式。
2）熟悉主流LLM推理框架（vLLM、SGLang、Ollama等）及模型量化部署方案。
3）熟练掌握Python，具备良好的工程能力，能独立搭建评测流水线与数据处理管线。
4、评测经验：
1）熟悉主流LLM评测基准（MMLU、GSM8K、HumanEval、MT-Bench、AlpacaEval、Chatbot Arena等）。
2）有Agent评测实战经验，熟悉SWE-bench、WebArena、GAIA、AgentBench、τ-bench等至少2个Agent评测框架。
3）理解LLM-as-a-Judge方法论，有使用强模型进行自动化评分的实践经验。
5、业务理解：能将模糊的业务需求转化为清晰、可量化、可执行的评测方案，具备从真实业务中抽象评测任务的能力。

加分项
1、有多模态模型（图文/视频/音频）评测经验，熟悉MMBench、Video-MME、MMMU等多模态评测基准。
2、有MCP（Model Context Protocol）协议或A2A（Agent-to-Agent）协议的实践经验。
3、熟悉强化学习在LLM对齐中的应用（PPO、DPO、GRPO等），能从评测结果反推RL训练策略。
4、有数据标注平台或众包标注项目的管理经验，了解标注质量控制方法论。
5、在ACL、EMNLP、NeurIPS、ICLR、ICML等顶级会议发表过评测相关论文。
6、有开源项目贡献经验，或维护过有影响力的评测工具/数据集。

岗位亮…