希音Spark大数据组件专家(南京/深圳)
任职要求
1.至少6年以上相关经验,有扎实的计算机编程基础,精通java/scala,熟悉jvm的原理和调优。 2.精通spark/hive/flink组件原理和内核优化,有超大规模数据计算的架构设计和优化经验。 3.掌握大…
工作职责
1.大数据新技术规划、调研、选型及推广落地。 2.负责大数据组件内核开发优化,推进组件容器化,进行组件二次开发与适配等工作。 3.日常负责大数据框架组件的性能优化,稳定性保障,异常监控及线上问题对接解决。 4.参与平台功能研发,提供业务系统化的解决方案。
1.大数据新技术规划、调研、选型及推广落地。 2.负责大数据组件内核开发优化,推进组件容器化,进行组件二次开发与适配等工作。 3.日常负责大数据框架组件的性能优化,稳定性保障,异常监控及线上问题对接解决。 4.参与平台功能研发,提供业务系统化的解决方案。
1.大数据基础平台、应用平台功能设计和开发。 2.负责大数据平台及组件的调研选型,部署,日常监控及问题解决。 3.参与海量数据处理方案设计,提供业务系统技术支撑。
【业务介绍】 作为公司统一的机器学习平台团队,负责调度公司所有模型训练与推理资源;基于自建的训推引擎,构建公司统一的机器学习平台,为公司所有算法同学(稀疏 & 稠密,含 LLM) 模型迭代提供端到端的一站式服务;包括 数据生产,模型训练,模型上线,特征管理,模型测试,资源管控等一系列能力。 【岗位职责】 1、负责机器学习链路,离在线数据相关的开发工作,包括样本数据、特征数据等的数据链路搭建、任务运维和调优、性能优化等 2、负责小红书大规模机器学习平台的后台系统设计和开发工作;包括样本平台,特征平台,训练平台,推理平台等AI应用后台建设等; 3、研究分析业内AI平台产品,优化技术方案,改进产品功能,完善产品体验。
算法工程师 1.基于滴滴交通出行业务,构建完整的打车智能化运营策略解决方案,包括但不限于增长策略、定价策略、供需预测、资源分配策略等各类丰富场景; 2.承担网约车业务核心业务指标,使用运筹优化、机器学习、因果推断等技术持续优化超大规模动态双边市场的交易效率。 计算机/应用数学/计量经济学/统计学相关专业,研究生/本科,2023年毕业 编程基础扎实,至少熟悉python/scala/R等编程语言之一 熟悉常用的机器学习与数据挖掘方法 熟悉常用统计理论与分析方法,数理逻辑好,具有一定的数据分析能力 有较强的学习能力和好奇心,自驱性强,具备良好的团队合作和沟通能力 加分项: 1. 有计量经济学/因果推断方向相关背景优先 2. 有运筹优化/收益管理相关背景优先 3. 有深度学习相关背景优先 4. 有SQL、Hadoop、Spark、Hive、TensorFlow相关经验优先