蚂蚁金服蚂蚁集团-大模型应用工程师（自动化评测与benchmark）-健康事业群
任职要求
1. 扎实的技术基础：深入理解大模型训练与推理机制（如 SFT/RLHF、MoE、上下文学习），具备 Agent 系统开发或评测经验，并能运用统计方法设计严谨的对比实验； 2. 工程与数据敏感度：追求高效、可复现的评测 pipeline，熟练使用自动化工具（如 LLM-as-a-Jud…
工作职责
探索行业前沿的大模型技术，建立科学、全面的评测体系，支持模型演进、产品落地、竞对分析评估。
1.参与ai agent产品开发，设计Agent的工作流程和模型之间的交互过程，包括任务规划、工具调用、记忆与上下文管理策略； 2.设计历史记录管理，长期记忆，用户画像体系，长文本知识检索等模块，提升用户体验； 3.构建体系化的上下文工程，沉淀可复用的上下文模板与评测标准； 4.调研、跟踪和使用业界最新的框架和工具，并能在实际业务中落地。
1、负责大语言模型的垂类应用、Agent、RAG等其一的方向的研究与应用； 2、负责交付YOYO智能体的意图理解或者构建基于Agent的Tool； 3、负责大模型的微调、强化学习训练工作； 4、探索跟进大语言模型的前沿技术与应用方向。
一、 1、负责将 大语言模型（LLM）与 Agent 技术应用于微博热点场景，参与相关技术方案设计与落地； 2、利用 NLP / 多模态 / 大模型能力，从全站海量博文中挖掘潜在热点，识别具有传播价值和讨论价值的内容； 3、探索 Agent、RAG、知识库增强等技术在内容理解、热点发现等场景中的应用； 4、持续关注 大模型与AI应用技术前沿，结合微博业务特点进行技术创新，推动AI能力在业务中的落地； 二、
利用GPT、Claude、Gemini等顶级模型能力，深入产品/研发/测试场景，通过构建高质量 Agent 和代码智能工具，以数据驱动的方式实质性提升产研效能 1、深入挖掘研发全生命周期痛点，设计并实现基于 LLM 的自动化工作流，覆盖需求分析、代码辅助、自动化测试等核心环节； 2、负责复杂 Agent 的逻辑设计与工程落地，通过高级 Prompt Engineering（CoT, Few-Shot, ReAct）优化智能体的规划与执行能力； 3、构建针对产研场景的 Benchmark（评测集） 和 Golden Datasets（黄金数据集）； 4、建立自动化评估流水线（Eval Pipeline），以量化指标（如代码通过率、推理准确率、任务完成耗时）对比不同模型与 Prompt 的效果，用数据指导技术选型； 5、基于 Claude Code 和 Codex 技术，开发高度定制化的 IDE 插件或 CLI 工具，将 AI 代码生成能力无缝融入现有开发环境，提升代码编写质量与交付速度。