logo of meituan

美团AI应用评测系统工程师

社招全职3年以上核心本地商业-业务研发平台地点:北京状态:招聘

任职要求


1. 本科及以上学历,计算机、数学、统计学或相关专业,3年以上工作经验,
2. 熟悉Java/Python/C++等编程语言,良好的编码习惯和一定的工程能力。
3. 良好的沟通能力、团队合作精神以及较强的问题解决能力。

具备以下条件优先
1. 熟悉 NLP深度学习、生成式语言大模型等基本原理和技术,熟悉常见的评测指标、效果评估方法。
2. 有过 AI 类产品的质量保障工作经历或算法评测经验。
3. 具有分布式评测系统开发经验或开发平台经验,熟悉系统设计和架构。
4. 熟悉 OpenCompass、llm-evaluation-harness 和 HELM 等开源评测框架及相关技术。
5. 熟悉 LangChain、Auto-GPT 等基于 RAG/Agent 的模型设计和工具集。

工作职责


负责评估和分析大模型在各种应用场景下的表现,与业务团队配合不断优化提升大模型应用效果。具体工作内容包括但不限于:

1. 负责大模型范式下的数据生产标注和应用场景评测平台建设。
2. 深入理解大模型在搜索、推荐、营销等场景的应用落地,参与业务评测方案的制定与评测数据集的建设。
3. 与各相关部门保持良好沟通,深度参与大模型业务应用落地,为各业务方提供评测及相关的模型分析支持。
4. 追踪大模型方向前沿进展,积极主动地学习和探索新的评测及分析的方法和技术。
包括英文材料
学历+
Java+
Python+
C+++
编程规范+
NLP+
深度学习+
大模型+
算法+
系统设计+
LangChain+
GPT+
RAG+
AI agent+
相关职位

logo of dingtalk
校招钉钉2026届秋

1. 构建会议AI算法工程体系(评测系统、监控系统、标注系统、AI Agent架构) 2. 会议AI基础模型的接入和优化(模型调研、训练和推理,算法工程建设) 3. AI产品的功能完善,智能化提升(AI听记、会议AI助理等线上产品的开发) 4. AI解决方案的设计和应用落地(找到具有客户价值的落地场景,真正为客户解决问题)

更新于 2025-08-27
logo of bytedance
社招A164728

1、负责AI应用开发平台的能力建设,为AI开发者提供一站式开发调试、评测、可观测、分析等能力; 2、深度参与AI应用评测与迭代优化,打造优秀的AI研发工具平台,解决AI应用落地的痛点问题; 3、持续探索AI应用开发与效果调优的认知与最佳实践,并通过平台化方式解决方案,助力AI应用的高效迭代与生产落地。

更新于 2025-02-14
logo of antgroup
社招3年以上技术类-开发

为蚂蚁 AI 业务建设科学的评测体系,重点参与 AI Agent 评测基准建设,对通用或者垂类 Agent 及其相关业务进行全面评估验证。系统化业务问题识别与优化机制,帮助指引算法和技术迭代方向,推动业务落地并取得效果。

更新于 2025-07-30
logo of antgroup
社招技术类-开发

1.负责以大模型为代表的AI技术能力的建设和优化,打造业界领先的AI技术系统。主要职责包括AI系统结构设计,大模型训练数据构建,大模型能力评测,大模型推理效果和效率优化等; 2.紧密跟踪、探索大模型方向前沿技术,依托丰富且体系化的业务生态,实践大模型等AI技术创新应用与落地。

更新于 2025-07-23