小米数据集工具链开发工程师

我们正在寻找一位充满激情、经验丰富的数据集产品经理，负责规划、构建和管理高质量的数据集产品，以支持人工智能、机器学习和数据科学团队的需求。该岗位将深入理解数据在AI模型训练、评估和优化中的核心作用，主导数据集产品的全生命周期管理，推动数据驱动的技术创新与业务增长。 主要职责： 1、产品规划与策略制定 深入调研AI/ML行业对数据集的需求趋势，制定数据集产品的长期发展战略与路线图 明确数据集产品的目标用户（如算法工程师、数据科学家、科研机构等），定义产品定位、核心功能与价值主张 2、数据集产品设计与构建 主导数据集的需求分析、定义数据规格（如数据类型、规模、标注格式、质量指标等） 协调数据采集、清洗、标注、验证等环节，确保数据集的完整性、准确性、多样性与合规性 设计数据集产品的交付形式（如API、数据包、在线平台访问等），优化用户体验 3、跨团队协作与项目管理 与数据采集团队、标注团队、算法团队、法务团队紧密合作，推动数据集项目高效落地 制定项目计划，跟踪进度，识别并解决项目中的风险与问题，确保按时保质交付 4、数据质量与合规管理 建立并持续优化数据质量管理体系，制定数据标注规范与质量评估标准 确保数据集产品符合相关法律法规（如GDPR、CCPA、中国个人信息保护法等）及公司数据伦理政策 5、产品运营与市场推广 负责数据集产品的上线发布、用户培训与技术支持，收集用户反馈并持续迭代优化 支持市场团队进行产品宣传，参与行业会议、技术论坛，提升产品影响力与市场份额 6、竞品分析与创新探索 持续跟踪国内外数据集产品与技术动态，进行竞品分析，挖掘创新机会 探索新兴数据类型（如合成数据、多模态数据等）与前沿数据构建技术，推动产品差异化创新

负责大模型评测体系的工程建设与日常运维，搭建高效、稳定、可复现的评测运行环境。具体包括： 1. 接入并适配主流开源评测集，完成数据解析、沙箱搭建及评分逻辑对齐。 2. 针对代码及Agentic类评测集，构建安全可控的代码执行环境，包括定制容器化沙箱、资源隔离、超时控制等，保障多语言代码编译与运行的正确性和安全性。定制端到端的 Agent 运行环境，包括模拟交互界面、文件系统、终端、浏览器等依赖组件，确保 Agent 能在真实或仿真场景中完成多步骤任务。 3. 接入和适配 Agent 评测框架，实现评测流程的标准化和自动化调度。 4. 接入 MCP 工具层，为评测中的模型调用提供标准化的工具接口，支持工具注册、调用链路追踪和结果校验。 5. 维护评测基础设施的可观测性，建设评测结果的存储、对比与可视化看板，支撑研究团队的快速迭代需求。

负责 Hadoop、Spark、Hive、HBase、Presto、Flink、ClickHouse 等大数据集群的规划、部署与算力调优，保障集群 7×24 小时稳定运行。 负责集群日常运维、性能调优、容量规划、故障排查与问题根治，保障服务达成 SLA 指标。 负责大数据开源组件二次封装、功能迭代与漏洞修复，搭建通用工具与服务，赋能数据平台建设。 为数据分析团队提供底层技术支撑，协助解决平台使用过程中各类复杂技术问题。算机、软件工程、数学等相关专业，本科及以上学历，拥有 3 年及以上大数据研发相关工作经验。 具备中大型集群（PB 级数据量或 50~100 节点规模）整体规划、搭建与优化实战经验。 有 Hadoop、Spark、Hive、Presto 等开源框架源码修改、二次开发经验者优先。 精通 Hadoop、Spark、Hive、HBase、Presto、Flink、ClickHouse 等主流大数据生态组件。 熟练使用 Java、Python、Shell 进行开发，精通 HiveSQL 性能调优。 可独立完成需求分析、技术选型，能够设计高可用、高可扩展的大数据解决方案。 具备钻研精神与自驱力，沟通表达良好，拥有较强的抗压能力及集群应急处置能力。 具备 AI 开发能力，熟练使用主流 AI 编程提效工具（如 Codex、CodeCopilot 等）。 拥有大数据场景下大模型 Agent 设计、开发及项目落地经验者优先。 了解或掌握机器学习算法底层原理者优先。 ## Key Responsibilities * Design, deploy, optimize, and maintain large-scale big data clusters based on technologies such as Hadoop, Spark, Hive, HBase, Presto, Flink, and ClickHouse. * Ensure 24×7 stability, reliability, and performance of production data platforms through proactive monitoring, capacity planning, and performance tuning. * Troubleshoot complex system issues, conduct root cause analysis, and implement long-term solutions to meet SLA requirements. * Develop and enhance internal platform capabilities through customization, secondary development, feature enhancements, and bug fixes of open-source big data components. * Build reusable tools, frameworks, and platform services to improve engineering efficiency and support data platform evolution. * Provide technical guidance and infrastructure support for data analysts, data engineers, and business teams, helping resolve complex platform-related challenges. * Participate in architecture design, technology evaluation, and best-practice establishment for enterprise-scale data platforms. ##

岗位职责： 1.使用各类数据挖掘技术及机器学习算法以及大模型等前沿技术，基于海量多模态行为数据，构建完整的用户画像与兴趣建模体系，精准刻画用户行为。 2.结合对业务理解，深入挖掘数据价值，将业务问题转化为可建模的算法问题并推动在业务场景下应用，拿到业务结果。 3.深入思考产品业务价值，参与制定及落实团队在技术、业务等多维度发展方向。 4.深入理解食杂零售餐饮供应链业务逻辑和运营模式，与业务、产品、工程、数据等团队紧密协同，完成从业务问题到算法问题的抽象与定义，设计指标体系，进行算法技术选型和方案设计实现，推动落地应用。