logo of aliyun

阿里云ATH事业群-Agent评测产品经理(AI手机)-杭州

社招全职5年以上云智能集团地点:杭州状态:招聘

任职要求


1、本科及以上学历,2年以上模型策略/评测/数据产品相关经验,熟悉LLM/多模态/Agent产品评估者优先;
2、具备结构化分析能力,能够从复杂的模型行为中提炼本质问题,并将模型能力、用户需求与产品指标连接起来;
3、对数据和指标体系敏感,能基于实验、日志、线上…
登录查看完整任职要求
微信扫码,1秒登录

工作职责


1、从用户视角定义产品体验,并细化到对模型效果的理想态定义和评测标准制定;
2、负责构建大模型在手机真实应用场景下的效果评估体系,产出稳定可信的评测结论;能够从用户反馈、模型行为观察、研究侧目标中提炼评估方向,并提出可落地的模型能力提升与应用体验优化策略,推动模型和产品迭代;
3、与研发、算法、用户产品等团队紧密协作,基于线上观测、实验结果和用户访谈,识别模型缺陷与改进机会,并给出可执行的优化方向与评估策略;
4、负责推动跨团队协作闭环,统筹评估目标、资源优先级与落地节奏,确保关键模型行为、风险点、用户体验问题能够被快速验证、追踪与优化;
5、持续跟进业界评测研究与方法论,结合真实业务场景迭代方案,探索更反映真实用户体验和价值的评测方法。
包括英文材料
学历+
大模型+
还有更多 •••
相关职位

logo of aliyun
社招5年以上云智能集团

1、主导 Agent 主链路策略:负责手机解决方案中 Agent / 模型效果的持续优化,覆盖意图分类链路、记忆链路、Skill 体系、工具集编排等核心模块,为链路端到端效果负责。 2、完成复杂策略方案设计:理解 AI 技术的能力边界与发展趋势,结合用户需求与业务场景,独立完成复杂产品策略的方案设计,将模糊的用户价值翻译为清晰、可执行的模型与产品策略。 3、驱动模型效果迭代:基于业务目标搭建评测体系、定义模型训练的理想数据集与标注规范,与算法、标注、研发团队紧密协作,通过实验设计与快速迭代持续提升模型效果与线上表现。 4、持续洞察用户与优化体验:通过评测数据、线上分析、一手体验、用户调研等多种方式深度洞察用户需求,不断完善对场景与用户的认知,制定并推动相应的迭代策略,持续提升 Agent 体验。

更新于 2026-07-13杭州
logo of aliyun
社招3年以上云智能集团

1. 负责联网搜索基础设施建设,包括网页抓取、采集调度、站点适配、反爬策略、代理管理、失败重试、增量更新、数据合 规与链路监控。 2. 建设网页内容理解与数据处理链路,支持 HTML、PDF、Word、表格、图片、动态网页等多源内容的解析、正文抽取、去 噪、去重、质量评估与结构化处理。 3. 负责离线通用索引构建体系,建设面向大规模网页和异构数据的倒排索引、向量索引、结构化索引、混合索引、增量索引 和索引质量评估能力。 4. 建设垂类搜索能力,面向企业知识、行业数据、内容、商品、业务系统等场景,设计领域数据 Schema、召回策略、排序策 略、过滤规则和结果展示策略。 5. 建设搜索质量优化与数据回流链路,包括 Query 日志、点击行为、用户反馈、Badcase 归因、人工标注、训练数据构建、 离线评测、在线 A/B 实验和排序迭代闭环。 6. 设计和优化搜索召回与排序体系,融合全文检索、语义召回、结构化查询、知识图谱、业务规则、Learning to Rank、 Reranking 等能力,提升相关性、时效性和可信度。 7. 构建面向 Agent 的 Deep Search / Deep Research 能力,支持多轮检索、多步推理、动态 Query 改写、结果聚合、反思 校验、引用溯源和答案生成。 8. 深入优化 RAG 与 Agentic Search 架构,解决复杂任务中的意图理解、Query Rewriting、Hybrid Search、Context Compression、多跳检索、GraphRAG、幻觉控制与事实一致性问题。 9. 参与 Agent 平台核心模块建设,包括 Agent Runtime、Workflow Engine、Tool Registry、Memory Store、Prompt / Policy 管理、任务队列和执行调度框架。 10. 推动系统生产化落地,重点解决稳定性、可观测性、延迟、成本、质量评估、失败恢复和线上效果退化定位等问题。

更新于 2026-07-08北京|杭州
logo of aligenie
社招3年以上

1、负责 AI Agent 平台的测试体系建设,设计和实现用例自动生成、缺陷根因分析、测试执行编排等 Agent,打造智能化质量保障平台; 2、建立 LLM 应用的测试方法论和评估体系,应对非确定性输出的测试挑战,覆盖 Prompt、RAG、Function Calling、多轮对话等场景的专项测试; 3、深入理解复杂业务系统,设计有效的测试策略和自动化框架,参与全站架构升级中的可测性建设和稳定性保障,支撑千万级用户的业务质量; 4、探索 AI 驱动的测试新范式,沉淀 Agent 协作框架、智能测试工具、模型评估体系等技术方案,推动测试工程智能化转型。

更新于 2026-04-07北京|杭州
logo of aliyun
社招2年以上云智能集团

● 岗位定位: 你将作为AI视频生产应用与Agent系统的核心建造者,负责打造这个时代最具创造力的“自主智能体”。我们正在用Agent重新定义视频生产的工作方式——不是让AI辅助人类操作,这个Agent将能够理解人类的创意意图,自主规划、调度并执行从创意到成片的整个视频创作流程。你将站在AI技术与视频创意的交汇点,设计并落地驱动这一切的Agent系统,让每个人都能指挥一个“AI制作团队”,让AI成为真正的"视频生产者"。 ● 核心职责 1. AI视频生产Agent架构设计 ● 主导设计面向视频全链路生产的Multi-Agent系统架构,拆解并定义不同角色Agent的能力边界与协作协议。 ● 构建支持复杂任务分解、动态规划、自主决策、异常恢复的Agent运行框架。 ● 设计Agent间的通信机制、状态管理与记忆体系,保障长链路生产任务的一致性、可追溯性与可干预性。 2. 多模态模型集成调优 ● 持续跟踪并将最新的图片生成、视频生成、音频生成、VL等多模态大模型集成进Agent生产链路,保持Agent能力的持续技术领先。 ● 对模型输出质量进行系统性调优,针对视频生产场景的语义一致性、运动合理性、视觉/音频质量、叙事逻辑性、指令遵循度、情绪传达力等关键指标进行专项优化。 ● 建立模型能力评测基准体系,定义质量基线与模型SLA,构建覆盖模型选型、版本对比、回归验证的数据化决策链路。 3. 任务规划与工作流编排 ● 设计基于LLM的动态任务规划引擎,支持自然语言输入→任务图生成→并行/串行执行→结果聚合的完整链路。 ● 在平台层统一工作流引擎之上,根据不同创作意图、内容类型、生产规格,在运行时动态构建差异化的视频生产工作流。 ● 攻关长链路任务的可靠性保障:任务断点续传、局部重试、人机协同介入点设计等核心工程难题,确保复杂任务在动态工作流下依然稳定可控。 4. 提示词工程与效果优化 ● 系统性构建面向视频生产各环节的Prompt工程体系,包括分层结构化、动态上下文、领域知识、多模态提示协同对齐等精细化设计。 ● 建立Prompt版本管理、A/B评测、自动优化机制,通过数据驱动持续提升Agent各节点输出质量。 ● 探索基于RLHF、DPO等技术的偏好对齐方法,让Agent的生产风格与用户意图高度契合,逼近"零修改直出"。 5. 视频生成流程自动化 ● 端到端打通从"创意"到"成片输出"的全自动化生产流水线,以最小化人工干预节点为终极目标。 ● 构建智能质检Agent,对生成视频进行自动化质量评估、问题定位与修复决策,形成自我纠错的生产闭环。 ● 设计支持批量生产、个性化定制、多风格并行的自动化调度体系,支撑规模化内容生产的工业级需求。

更新于 2026-06-24北京|杭州|广州