高德地图高德-数据开发工程师/专家-ETL及业务数据应用-规划定位-热招
任职要求
1. 【数仓经验】从事数据仓库领域工作至少年以上,熟悉数据仓库模型设计方法论,有分布式数据存储与计算平台应用开发经验,在大数据资产管理与治理有一定成功产品化经验; 2. 【大数原理】熟悉Hadoop生态相关技术并有相关开发经验,精通SQL开发及SQL性能调优,熟悉基Hadoop,Hive等分布式计算平台的数据开发及MapReduce原理; 3. 【ETL研发】精通数据仓库建模及ETL设计开发,有较为系统的海量数据性能处理&调优经验;具备JAVA、Pyth…
工作职责
1. 建设PB级数据仓库,参与或负责数据仓库设计、建模、数据管理等; 2. 参与或负责高德地图业务支撑系统数据平台相关数据开发和管理工作,如研发、质量、保障等规范的制定与实施落地; 3. 参与导航体系和用户增值体系的核心业务,深入业务负责应用数据构建和指标体系构建以及业务数据分析&挖掘; 4. 支持各个业务的基础层数据建设工作,支持公司的BI指标&算法应用等场景; 将会接触到高德的轨迹大数据是万亿级别的,覆盖的场景也特别丰富,驾车、骑行、步行、日常的各类行为及定位等业务内容。
1、负责支付宝广告数据体系的规划设计和建设,通过数据产品和数据服务等方式,实现数据驱动业务增长; 2、建立实时和离线大数据处理流程,优化数据模型开发和性能优化,提供统一、可靠离线及实时数据服务; 3、通过沉淀数据分析思路与框架,提炼数据产品需求,与算法、工程团队合作,实现数据精细化运营; 4、面向数据生产、数据应用等场景/环节,构建AI助手能力,实现广告域效能/效果突破。
1.负责离线和实时数据仓库各层(如ODS、DWD、DWS、ADS)的模型设计、开发与优化,支撑数据分析和业务应用; 2.负责集团财务数据分析系统的数仓开发及报表开发; 3.独立完成复杂业务逻辑的数据ETL开发、任务调度与运维监控,保障数据加工流程的准确性和稳定性; 4.建立并监控数据质量规则,主动发现、跟踪并解决数据质量问题,确保数据的可靠性和可信度。
我们是小红书中台大模型 Infra 团队,专注打造领先易用的「AI 大模型全链路基础设施」!团队深耕大模型「数-训-压-推-评」技术闭环,在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势,基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品,持续赋能社区、商业、交易、安全、数平、研效等多个核心业务,实现 AI 技术高效落地! 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架,优化强化学习阶段的Rollout、Reward Model集成、多阶段训练 Pipline; 2、研发支持多机多卡 RL 的分布式训练框架,开发TP/PP/ZeRO-3与RL流程的动态协同机制,解决 RL 算法在超长时序下的显存/通信瓶刭 3、构建端到端后训练工具链,主导框架与 MLOps 平台集成,提供训练可视化、自动超参搜索等生产级能力 4、与公司各算法部门深度合作,参与大语言模型LLM、多模态大模型 MLLM等业务在 SFT/RL领域的算法探索和引擎迭代; 5、参与分析各业务 GPU 利用率与饱和度等指标,结合业务场景持续优化训练框架能力,提升框架领先性。
【业务介绍】 作为公司统一的机器学习平台团队,负责调度公司所有模型训练与推理资源;基于自建的训推引擎,构建公司统一的机器学习平台,为公司所有算法同学(稀疏 & 稠密,含 LLM) 模型迭代提供端到端的一站式服务;包括 数据生产,模型训练,模型上线,特征管理,模型测试,资源管控等一系列能力。 【岗位职责】 1、负责机器学习链路,离在线数据相关的开发工作,包括样本数据、特征数据等的数据链路搭建、任务运维和调优、性能优化等 2、负责小红书大规模机器学习平台的后台系统设计和开发工作;包括样本平台,特征平台,训练平台,推理平台等AI应用后台建设等; 3、研究分析业内AI平台产品,优化技术方案,改进产品功能,完善产品体验。