钉钉钉钉-数据工程师-视觉AI数据方向
任职要求
"必须具备: ● 学历背景:计算机、数据科学、人工智能等相关专业本科及以上学历 ● 经验要求:3年以上AI数据工程或机器学习数据平台相关经验,至少主导过2个以上视觉AI项目的数据全流程建设,有真实边缘端视频AI项目数据支撑经验 ● 技术能力: ○ 熟练掌握Python、SQL等数据处理工具,熟悉常见数据库(MySQL、MongoDB等) ○ 熟悉计算机视觉数据标注工具与流程(如CVAT、Labelme、Label Studio等) ○ 理解常见视觉任务(目标检测、分割、跟踪、ReID等)的数据需求与评估指标 ○ 具备数据ETL、数据清洗、数据增强的实战经验 ○ 了解视觉大模型(如ViT、CLIP、SAM等)的…
工作职责
钉钉正在全面拥抱多模态AI,正在致力于将视觉大模型、边缘智能与实时视频分析深度融合,赋能智能零售、智慧餐饮、明厨亮灶、智慧工厂、智能交通等多个行业。我们拥有强大的工程化能力和创新研发氛围,期待志同道合的技术精英加入,共同推动视觉AI落地千行百业。
我们正在寻找在视觉AI数据工程领域具备真正工程化落地经验的技术人才,你将参与视觉AI系统的数据全链路建设与优化,支撑边缘端视频AI服务的高效迭代。具体职责包括
1. 数据管理与运营
● 数据需求分析与规划:根据算法团队的数据需求,协调整个数据闭环全流程工作(供应商对接、标注验收、测试benchmark)
○ 数据需求汇总:理解每个算法需要多少训练、测试数据,优先级分别是什么
○ 制定数据采集、标注与质检计划,确保数据质量与交付时效
● 数据渠道管理:外采(AIData等平台)、对接各个业务方和客户要数据
○ 建立稳定的数据供应商合作关系,评估数据质量与成本
○ 设计内部数据共享机制,打通业务侧真实场景数据
● 外包工作管理:根据数据需求和优先级排工作以及工作验收
○ 制定标注规范与验收标准,监控标注进度与质量
○ 建立标注团队绩效评估体系
2. 数据挖掘与合成
● 数据挖掘:根据算法需求在数据池中挖掘相关数据,或使用AIGC等手段进行数据合成
○ 从海量视频数据中挖掘长尾场景、困难样本(如遮挡、小目标、极端光照等)
○ 设计数据筛选策略,提升训练数据的多样性与代表性
● 数据合成与增强
○ 利用AIGC、3D渲染、风格迁移等技术生成合成数据
○ 设计针对边缘端场景的数据增强策略(模拟低分辨率、噪声、压缩失真等)
3. 评测开发
● 评测体系建设:根据算法的测试需求,实现整个数据收集、脚本开发的CICD全流程
○ 构建自动化评测平台,支持模型性能、精度、资源占用等多维度评估
○ 实现测试数据集版本管理与可追溯性
● 自动感知等功能的实现:
○ 开发数据质量自动检测工具(标注一致性、异常值检测)
○ 实现模型性能衰退自动告警机制
4. 数据平台&标准化工作
● 数据平台建设:灵活应对各类数据需求
○ 构建统一的数据管理平台,支持数据采集、标注、存储、检索、版本管理
○ 实现数据血缘追踪,支持从原始数据到模型训练的全链路可追溯
● 标准化规范:
○ 制定视觉AI数据标注标准与最佳实践
○ 统一数据格式、元数据规范,降低跨项目数据复用成本
○ 建立数据质量评估标准与SLA"1、数据效能研究(Data Efficiency):基于多模态大模型训练过程,分析不同模态数据的有效性、信息增益与贡献度;参与数据选择、数据蒸馏、难例挖掘等前沿技术探索,提升训练效率与模型表现; 2、数据–模型协同设计(Co-Design):与模型团队协作,从训练曲线、梯度信号与分布特征中反推数据质量,研究分阶段(预训练/SFT/对齐)数据策略,设计高效的数据结构与采样机制; 3、高质量数据构建(Data Quality Engineering):参与多模态数据 pipeline,包括自动标注、Caption 生成、数据去噪与一致性检查;探索弱监督、合成数据与模型 in-the-loop 的高质量数据生产方式; 4、多模态数据分析(Multimodal Analytics):对训练数据进行覆盖度、偏差与难度分析,构建可视化与指标体系,为模型能力诊断与数据重构提供依据。
负责可灵AI的多源数据,线上用户反馈数据采集,挖掘和分析。通过数据挖掘、统计分析和可视化工具,完善可灵AI数据闭环链路,为可灵AI的数据侧提供战略决策和业务优化提供数据支持。 1、数据pipeline构建:负责视频生成大模型的训练数据构建与管理,参与数据筛选、标注及质量评估工作。分析和挖掘现有数据资源,设计有效的数据分布策略,支持模型的持续迭代; 2、数据分布分析:对模型训练数据分布进行详细分析,识别数据偏差、不均衡及潜在问题。提供数据分布的可视化报告及改进建议,确保模型训练数据覆盖目标场景和多样性需求; 3、用户数据分析:分析用户交互数据,评估视频生成效果与用户满意度,提取用户反馈中的数据优化方向。构建用户行为分析模型,探索用户需求变化并为模型优化提供参考; 4、优化模型生成效果:构建数据飞轮。通过数据驱动的方法优化视频生成大模型效果,结合A/B测试等手段验证调整效果。与算法工程师合作,制定数据调整与扩展策略,提升模型在真实场景中的生成能力。
团队介绍: 作为中国领先的数字地图内容及导航服务提供商,高德地图日均服务数亿用户出行决策,每日处理超百亿级位置数据。视觉技术中心是驱动高德实现高精度地图、三维重建、LLM/VLM,AI Agent等核心技术,持续突破自动驾驶、AR导航、具身智能、推广搜和生活服务等领域的技术边界。团队不仅在计算机视觉领域持续深耕,更将计算机视觉及AI技术在自主导航、高德打车、生活服务等多元化应用场景。 作为高德地图的核心技术驱动部门,我们以下一代三维地图引擎、多模态理解与生成、空间智能、世界模型等方向为核心,推动智能出行与真实世界连接的深度融合。 团队gihub主页:https://github.com/amap-cvlab 为何加入我们? 挑战世界级技术难题,追求智能上限 用AI驱动国民级APP的产品迭代和颠覆式创新 我们正在寻找对多模态技术充满热情的算法工程师,加入我们的研发团队。您将专注于多模态理解与生成,推动其在高德扫街榜等热门应用中落地,为用户提供更智能、更沉浸的服务。 主要职责: 1、多模态大模型研发:开发业界领先的图文多模态大模型,实现高质量场景理解和内容生成; 2、模型优化与性能提升:优化多模态模型的推理速度和计算效率,支持端侧部署。探索适合大模型的压缩与加速技术(包括但不限于量化、剪枝、知识蒸馏等); 3、业务场景落地:将多模态技术应用于扫街榜等实际业务场景,与产品、工程团队合作,推动技术从研发到上线的全流程落地; 4、前沿技术探索:持续跟踪生成式AI、跨模态对齐、思维链、强化学习、多模态交互等最新技术趋势,提出创新性解决方案。
1、数据pipeline建设:负责视频生成大模型的训练数据构建与管理,参与数据筛选、标注及质量评估工作。分析和挖掘现有数据资源,设计有效的数据分布策略,支持模型的持续迭代; 2、数据分布分析:对模型训练数据分布进行详细分析,识别数据偏差、不均衡及潜在问题。提供数据分布的可视化报告及改进建议,确保模型训练数据覆盖目标场景和多样性需求; 3、用户数据分析:分析用户交互数据,评估视频生成效果与用户满意度,提取用户反馈中的数据优化方向。构建用户行为分析模型,探索用户需求变化并为模型优化提供参考; 4、优化模型生成效果:构建数据飞轮。通过数据驱动的方法优化视频生成大模型效果,结合A/B测试等手段验证调整效果。与算法工程师合作,制定数据调整与扩展策略,提升模型在真实场景中的生成能力。