百度内容生态研发部_ 推理性能优化工程师(J85683)
任职要求
-熟练掌握Linux环境下的C/C++、Python语言,熟悉docker使用 -熟悉深度学习基本原理和Pytorch深度学习框架,有对Pytorch框架二次开发经验者优先 -熟悉Transformer模型及其应用场景,熟练掌握至少一种开源社区的大模型推理框架,如vLLM、SGLang、TensorRT-LLM、LightLLM等…
工作职责
-负责内容架构相关开发工作,工作内容包括但不限于:模型推理性能优化、推理卡集群GPU利用率治理、模型服务化、GPU资源调度功能研发等 -负责多模态LLM和Diffusion Model的推理性能的极致优化,保持业界SOTA -紧跟多模态LLM、视频生成领域最新研究进展和技术趋势,协同策略团队完成业务落地 -和团队一起攻克高性能、高并发、高可用性等各种不同技术场景下的技术挑战
团队介绍 我们是京东科技云事业部AI Infra团队,致力于大模型核心技术的前沿创新与应用。我们专注于业界领先的大模型创新算法及框架研发,构建极致高效的基础大模型训练、推理与渲染一体化平台,提供高吞吐高可用、低成本低延迟的大模型服务。我们的核心使命是高效支持京东自研和业界主流开源基础模型的训练、推理与渲染服务,驱动京东集团内外部的智能体/具身/全模态等大模型业务生态及应用。我们团队秉承技术驱动、创新为本的理念,为每一位成员提供广阔的成长空间和富有挑战性的项目。 工作内容 1.研发智能体/具身/全模态大模型算法,结合RL Infra后训练基座Scale-Law优化,提高大模型训练、生成和仿真渲染效能; 2.基于MoE/DiT大模型架构,融合样本均衡/多P并行/压缩/量化/剪枝/算子融合等技术,进行算法与系统Co-Design优化,并推动业务落地; 3.追踪业界最新技术进展,开展大模型算法与RL Infra训练、生成和仿真渲染相关创新,发表高影响力论文,打造业界一流的大模型RL Infra服务能力。
1.业务需求洞察与转化:; 2.深入对接业务线(如算法团队、司内业务部门),理解大模型在应用场景中的业务痛点,输出产品需求文档并推动优先级共识; 3.深入分析行业痛点(如客服、内容生成、3D建模等),输出定制化解决方案,推动产品适配性优化; 4.平台能力构建与体验提升:; 5.主导设计大模型全生命周期管理功能,涵盖数据标注、模型训练、效果评测、部优化等环节的核心模块,构建大模型全生命周期管理闭环,重点突破高并发训练、分布式推理、多模态模型兼容等能力; 6.设计面向开发者的低门槛工具链(如可视化Prompt编排、一键式模型微调),提升平台DAU/留存率; 7.端到端功能交付与落地; 8.独立负责功能从PRD设计到上线的全流程管理,协调研发、测试、算法团队资源,确保技术方案与业务目标的强对齐; 9.建立关键指标(如模型迭代周期、资源利用率、用户满意度),通过数据验证功能价值; 10.主导交付后的用户培训、反馈收集及问题闭环; 11.跨团队协同与项目管理; 12.推动业务方、工程团队、算法团队三方协作; 13.推动太极在腾讯生态产品(如微信、腾讯文档、腾讯会议)中的深度合作与能力共建。
-主导面向内容生态AIGC的多模态大模型的创新开发,涵盖模型架构设计、训练算法优化等关键环节,引领技术发展方向 -主导多模态训练数据的处理流程,包括数据采集、清洗、标注及管理等,为模型训练提供高质量语料 -基于多模态大模型,适配业务场景各类下游应用,实现推动技术落地应用 -密切追踪国际多模态大模型领域的最新研究成果与发展趋势,积极引入先进理念和技术,保持技术的领先性 -积极撰写高水平学术论文,踊跃投稿至顶会和期刊,提升技术影响力