阿里云阿里云智能-AI开发平台研发专家-数据工程方向
任职要求
【必备项】 1、热爱编程,熟悉掌握但不限于JAVA/Python/GO等编程语言中的一种或几种,有良好的编程习惯; 2、熟悉网络编程和多线程编程,对TCP/IP,HTTP等网络协议有一定的理解,并了解XML和HTML语言; 3、熟悉Unix/Linux/Win32环境下编程,熟练使用调试工具,熟悉K8S/Docker等云原生工具; 4、深入了解AI大数据引擎和数据基础…
工作职责
负责AIPlatform数据工程平台研发,包括: 1.参与PB级大规模非结构化数据管理系统的设计和实现。 2.参与面向多模态的CPU+GPU高性能分布式计算引擎的设计和实现。 3.参与高质量的数据处理算子研发,包括CPU+GPU算子的调优、迭代。 4.参与产品的开发和维护,完成从需求到设计、开发和上线等整个项目周期内的工作。
负责AIPlatform数据工程平台研发,包括: 1.参与PB级大规模非结构化数据管理系统的设计和实现。 2.参与面向多模态的CPU+GPU高性能分布式计算引擎的设计和实现。 3.参与高质量的数据处理算子研发,包括CPU+GPU算子的调优、迭代。 4.参与产品的开发和维护,完成从需求到设计、开发和上线等整个项目周期内的工作。
1. MLOps平台开发打造一站式大模型开发平台,负责主流开源和闭源模型的训练、评测、蒸馏、压缩、部署全链路工具开发 ● 参与模型各种后训练如微调、蒸馏、强化学习的产品化,以及vLLM/sglang/自研推理引擎的优化,提供有竞争力的推理性能 ● 负责各种MLOps工具链开发,如AI资产管理、实验管理、血缘跟踪、评测对比等,帮助用户串联AI开发全流程,提升模型开发效率 ● 负责多模态数据自动标注和挖掘功能的开发,为智驾和具身智能客户提供新一代的数据工程解决方案 2. 企业级Agent开发平台建设 ● 建设具备全模态能力的agent开发平台,帮助客户构建RAG、chatbot、data agent、design agent、research agent等各种AI agent应用 ● 提供白盒化开发模式,建设全链路的可观测、可调试和监控能力,帮助用户构建同时具备高精度和高性价比的agent应用 ● 针对企业客户对安全隐私的强需求,构建全方位的安全防护能力,包括不限于模型安全护栏、工具沙箱、细粒度权限管控等 ● 与阿里云大数据、智能搜索等业务产品合作,建设阿里云agent工具生态
1. 支撑蚂蚁集团在各个业务领域的MLOps&LMOps算法研发工作,覆盖机器学习系统多个子方向领域的工作,包括:数据配比&全链路血缘建设、数据实验&分析、深度学习/大模型预训练/后训练/推理等,建设支持AI全链路的研发平台与AI垂类应用开发平台,实现算法研发效率、和资源利用率的最大化,灵活可扩展的支持不同领域的个性化应用开发需求,为蚂蚁大模型研发链路及应用研发探索新的研发模式; 2. 对平台进行全局性和前瞻性的架构设计和核心技术细节实现,帮助团队攻克各种技术难关,保障和提升平台稳定性。