阿里巴巴业务技术-大模型数据工程师-急招
任职要求
基础要求: 1. 本科及以上学历,计算机、人工智能等相关专业优先 2. 3年以上大规模数据处理或模型训练工作经验 3. 精通Python、Java等至少一种编程语言,熟悉SQL及数据库操作 技术要求: 1. 精通文本、多模态等非结构化数据处理方法 2. 掌握数据清洗、特征提取、数据增强等核心技术 3. 熟悉深度学习框架(PyTorch等)和模型训练推理技术 4. 掌握AI数据合成技术,包括提示词工程、模型调用、数据生成质量评估等 5. 具备优秀的分析和解决复杂问题的能力 软技能: 1. 学…
工作职责
负责为大模型训练和Agent构建准备高质量数据,专注于海量数据收集、清洗、处理工作,为模型训练提供优质数据支撑。 1. 数据收集与获取:通过API接口、公开数据集、合作伙伴等多种方式收集文本、代码、多模态等训练数据 2. 数据清洗与预处理:进行数据去重、格式转换、质量筛选、内容过滤,处理HTML2Text、PDF2Text、OCR、ASR等格式转换 3. 数据标注与构建:设计数据标注方案,构建高质量的监督学习、强化学习训练数据集和评估数据集 4. 数据合成与生成:使用AI技术进行数据合成,包括文本生成、代码生成、多模态数据生成等,扩充训练数据规模 5. 需求对接与迭代:与模型训练团队、Agent开发团队密切协作,快速响应数据需求,持续优化数据质量 6. 工具开发与优化:开发数据处理工具和脚本,优化处理流程效率,确保大规模数据处理的稳定性
1. 负责大模型(LLM/MLLM)核心技术研发,包括预训练、垂域SFT、RLHF等,持续追踪和应用领域最新技术进展; 2. 负责大模型性能优化:研发模型加速技术,如量化、剪枝与知识蒸馏;优化数据特征与调度策略;构建高效推理链路、提升运行速度及降低成本; 3. 基于淘天用户丰富的消费行为,打造技术先进的电商用户理解大模型,提升对用户的异构行为本质的认知能力,支撑用户个性化的搜索、商详、互动等多种电商业务场景; 4. 基于淘天海量商品数据,打造技术先进的电商多模态大模型,提升对多模态异构的商品数据(图、文、视频等)的理解能力和结构化能力,输出底层算法能力和高质量结构化数据,支撑多种电商业务场景,并面向商家和消费者探索AIGC等创新业务应用; 5. 持续跟踪、探索大模型/多模态大模型方向的前沿技术,将各方向的SOTA能力集成到模型底座上,提升下游任务的效果,打造团队的技术先进性。
1. 基于需求实现AI相关产品的全流程开发,包括但不限于AI应用的架构设计、工程实现、系统部署。 2. 核心参与AI Agent开发,基于大语言模型(LLM)、多模态模型或垂直领域模型,开发具备自主决策能力的AI Agent,支持任务分解、工具调用(如API、数据库)和结果反馈。 3. 持续迭代优化Agent相关技术实现和架构设计,包括但不限于CE优化、RAG优化、调度优化、AI可观测性提升等。 4. 跟踪前沿AI技术(如最新Agent框架和最新基模能力等),推动技术持续创新。
1. 负责核心机器学习、深度学习的技术攻关,并编写/指导编写数据挖掘产品的核心代码,和产品组配合完成模型质量的评测并上线,持续进行业务效果闭环优化; 2. 可以基于开源LLM以及多模态大模型,通过SFT、COT、Prompt优化等技术持续优化大模型应用能力;可制定依赖RAG的Agent智能体构建,实现算法效果提升; 3. 基于大规模异构资料(文本、图像、位置)等多种模态资料进行大模型的预训练,构建属于POI业务特色的预训练模型,以及子任务应用和RLHF等闭环优化; 4. 运用机器学习、深度学习、大模型、Agent等AI算法,改善POI数据质量以提升亿级别用户的出行和信息体验。
我们是谁? 作为中国领先的数字地图内容及导航服务提供商,高德地图日均服务数亿用户出行决策,每日处理超百亿级位置数据。视觉技术中心是驱动高德实现厘米级高精地图、实时三维重建、多模态感知等核心技术的引擎,持续突破自动驾驶、AR导航、智慧交通等领域的技术边界。 团队gihub主页:https://github.com/amap-cvlab 为何加入我们? 挑战世界级技术难题,追求智能上限 用AI驱动国民级APP的产品迭代和颠覆式创新 岗位职责: 团队主要聚焦多模态大模型及端到端模型在车端导航及定位应用,我们期待你的工作将覆盖以下至少一个技术方向即可: 1. 在端到端自动驾驶、BEV环境感知、多模态融合、强化学习等领域具备丰富且有独创性的研究经历; 2. 探索多模态大模型在下游任务中的技术能力,包括但不限于图文对齐/识别、跨模态理解生成、多模态检索、VLM端到端自动驾驶、世界模型等; 3. 了解大模型模型的训练/微调/推理加速方法,包括但不限于模型结构调优、训练效率提升、高效低成本微调、Muti-token推理,模型部署加速等; 4. 参与自动驾驶系统中机器学习算法的研究、开发与优化,包括但不限于深度学习算法在端到端感知大模型、规控大模型、视觉语言大模型等方面的应用; 5. 负责收集、整理和分析自动驾驶相关的数据集,进行数据预处理和标注,以提高模型的准确性和复杂场景泛化能力; 6. 设计和实现端到端自动驾驶模型的训练流程,包括选择合适的优化算法、调整超参数、评估模型性能等,确保模型在不同场景下的稳定性和可靠性。