logo of zhipuai

智谱GLM-Code Agent算法评测工程师

社招全职地点:北京状态:招聘♡ 收藏

工作描述


【岗位定位】
面向Code Agent及大语言模型,负责Harness设计与优化、自动化评测体系建设及复杂任务能力分析。围绕真实软件工程场景,构建可执行、可复现、可诊断的评测环境,通过对照实验与执行轨迹分析,识别模型和Agent系统的能力边界,推动模型、Harness及产品效果持续提升。

【岗位职责】
1. 设计与优化分层Harness。根据评测目标,搭建用于观察模型基础能力的极简Harness,以及面向Coding等复杂任务、集成工具链与环境反馈的完整Harness,评估不同配置对任务表现的影响。
2. 建设自动化评测框架。支持多模型、多Harness、多Benchmark的统一接入与对比,完善任务调度、环境隔离、执行记录、结果汇总及失败重试等能力,提升评测的稳定性与可复现性。
3. 接入与构建评测基准。接入SWE-bench、Terminal-Bench等内外部Benchmark,并结合真实开发需求构建代码理解、缺陷修复、功能开发、构建测试及长程任务等评测场景。
4. 设计评测指标与判定方法。围绕任务完成质量、执行效率、工具使用、指令遵循及运行稳定性等维度,结合可执行测试、规则校验和必要的人工复核,提升评…
登录查看完整工作描述
微信扫码,1秒登录

包括英文材料
AI agent+
算法+
系统设计+
Python+
Go+
Rust+
TypeScript+
设计模式+
数据分析+
还有更多 •••
相关职位

logo of zhipuai
校招

【岗位定位】 面向Code Agent及大语言模型,负责Harness设计与优化、自动化评测体系建设及复杂任务能力分析。围绕真实软件工程场景,构建可执行、可复现、可诊断的评测环境,通过对照实验与执行轨

更新于 2026-10-19北京
logo of zhipuai
社招

职位描述 负责强化学习训练框架的研发、优化和维护,根据业务需求持续改进训练框架和策略,提升模型训练效率 分析和定位训练中的性能瓶颈,实施针对性优化措施,提升训练效率和稳定性 跟进业界技术进展,不断同步

更新于 2026-09-08北京
logo of zhipuai
实习

【岗位职责】 代表 Z.ai 参与 transformers、vLLM、SGLang、Ollama 等主流开源项目的建设与维护,向开源社区贡献关键代码,推动 GLM 系列开源模型在各大训练/推理框架上

更新于 2026-09-28北京
logo of zhipuai
社招

【团队介绍】 智谱多模态大模型团队是全球领先的多模态研究团队之一,专注于推动视觉生成模型和视觉语言模型的发展,团队拥有从多模态生成到理解的全栈自研技术体系,依托强大的计算资源和全链路研发能力,持续引领

更新于 2026-09-04北京