阿里巴巴数据技术及产品部-LLM评测专家-通用及垂类方向
任职要求
1. 本科及以上学历，工程科学、数学、物理、化学、生物、医学、语言学、文学、法律、金融、心理学或相关学科专业优先。 2. 具备良好的学科知识素养，至少在一个学科领域（工程科学/自然科学/医学/法律/金融等）有较深入的理解，能够提供专家级的评测方案。 3. 对大模型的推理流程、能力边界有基本认知，了解主流学科评测集的设计思路与局限性，有实际构建或深度分析过至少一个领域评测集的经验优先。 4. 较强的跨领域沟通能力与团队协作意识，能与不同学科背景的研究人员、算法团队及外部专家高效配…
工作职责
1. 负责大模型通用能力及各专业垂类能力评测体系的建设与持续迭代，覆盖工程科学、数学、物理、化学、生物、医学、法律、金融、人文社科等核心方向，搭建科学、严谨、可复现的评测体系。 2. 围绕模型智能上限设计评测方案，通过高难度推理、复杂多步任务、长程规划等真实生产力任务检验模型的能力天花板，构建能有效区分模型能力层级的高区分度评测体系。 3. 深入分析模型在真实场景任务中的 bad case，精准归因问题来源（指令遵循失败、幻觉、上下文遗忘等），输出模型能力弱点分布图谱，为算法与训练团队提供可操作的优化方向与数据反馈。 4. 持续跟踪评测领域前沿方法，对现有评测基准进行充分调研与优缺点分析，建立评测数据的版本管理与防泄露机制，保障评测集的时效性与区分度。 5. 探索评测自动评估方案，研究主观评测新方法（如 LLM-as-Judge、对比评分、多维度量表等），将主观判断转化为可量化、可复现的评估指标，持续提升评测覆盖度与效率。
1、负责Agentic大模型相关算法开发与优化，开发性能达到业界sota的Agentic大模型并能在实际业务场景中应用落地 2、针对Agentic模型的训练特点，探索Agentic数据的合成策略与后训练数据配比策略，探索稳定高效的Agentic RL 方案，持续迭代模型在Agent场景的应用性能 3、探索创新Agentic RL算法，撰写发表创新论文或技术报告，参与模型开源，和社区、学术界保持良好的交流。
1. 数据资产体系建设：负责域外数据、位置数据、企业数据三大场景的智能化升级，设计并实现从数据采集、治理到服务化的完整链路，推动团队从传统"数据供应"模式向"智能能力输出"转型，直接支撑经营控比、采购数据验收、AI-Native 产品等核心业务场景。 2. AI-Native 架构从 0 到 1 建设：参与大模型与数据研发融合的架构设计，负责 LLM Agent 任务编排、多轮上下文管理、Human-in-the-Loop 决策机制的实现与优化，建立 Prompt 工程规范、Agent Eval 体系及 badcase 自动化排查与自愈闭环，确保技术成果在电商/AI 核心业务中快速落地。 3. 多模态数据与知识体系建设：负责文本/音频/图像/视频等多模态数据的检测、异常识别与相似度计算，设计数据质检与验收标准；同时主导知识抽取与本体建模工作，包括命名实体识别、关系抽取、实体对齐等技术落地，构建 Schema 设计与图数据库应用，打造语义资产体系。
负责阿里巴巴多模态数据湖 ALake 体系中 Fluss 流式存储引擎的研发，构建面向实时数仓与流批一体场景的下一代存储底座。 1. Fluss 引擎研发：参与 Fluss 流式存储核心模块的设计与开发，包括行存/列存引擎、数据 Compaction、Checkpoint、故障恢复等 2. 湖仓联动：设计和实现 Fluss 与 Paimon 的数据联动机制，支撑 CDC 数据实时入湖、流批一体消费等场景 3. 引擎集成：推进 Fluss 与 Flink、Spark、StarRocks 等计算引擎的 Connector 开发与性能优化 4. 性能调优：端到端优化数据写入延迟、吞吐、小文件治理，解决线上大规模场景下的稳定性问题 5. 技术方案设计：参与 Fluss 架构演进，输出技术设计文档，推动开源社区建设
1. 建设多源异构数据统一管线：覆盖真机采集数据（跨本体、多传感器）与仿真数据的接入、清洗、转换、质检、存储和分发，实现不同来源数据的标准化汇聚 2. 负责多模态机器人数据的Schema设计与标准化：覆盖图像、深度图、点云、IMU、关节角、轨迹、动作、语义标注、传感器参数等，兼容统一/自有格式规范，支持对接开源数据集 3. 设计并搭建分布式仿真调度系统：支持大规模环境实例跨多GPU/多节点的调度、监控与弹性扩缩 4. 构建数据质量过滤与异常检测模块和建设数据版本管理与血缘追踪体系 5. 搭建数据导出与训练对接服务：按训练需求灵活导出真机+仿真混合数据子集，支持增量更新与数据混合策略（如Sim2Real增广比例调配） 6. 与仿真引擎、算法训练、机器人本体和平台工程团队协作，打通数据从采集/生成到训练、评测、分析和可视化平台的完整链路