平头哥深度学习AI编译和推理引擎研发工程师

1. 负责大模型训练和推理系统的研发和性能优化，包括性能计算性能优化，大模型推理框架，大模型流量调度，高效 CUDA 算子开发，低精度计算，高并发服务请求优化等打造领先的推理引擎。 2. 负责大模型训练和推理等前瞻性技术架构的调研和引入，不限于子图匹配、编译优化、模型量化等。 3. 与算法团队深度合作，进行算法和系统的联合优化，包括分析业务性能瓶颈，通过软硬结合的 方式，高效部署和优化 AIGC 核心业务模型，建设 AI 工具链等能力，支撑 AI 业务的高速发展。

-参与公司深度学习推理引擎、AI编译器的架构设计、开发和优化，确保领域内推理引擎技术的先进性 -参与多模态LLM、视频生成模型推理性能性能的极致优化，保持业界SOTA -研究最近的推理优化技术，跟踪最新研究进展和技术趋势，提出改进和创新的想法，推动团队的技术发展，并应用到业务 -和团队一起攻克高性能、高并发、高可用性等各种不同技术场景下的技术挑战

1.研发及优化大模型推理引擎、PD分离推理调度系统； 2.优化大模型推理性能，提升吞吐并控制成本； 3.优化大模型推理框架，提升框架易用性和可调试性。

1、研发面向大语言/多模态/CV/NLP等类型模型的训练框架； 2、参与训练框架研发优化，包括分布式训练及微调工具链、训练性能优化、数据读取等AI基础设施的建设等； 3、与公司各算法部门深度合作，参与大语言模型、多模态大模型、计算机视觉、语音、自然语言处理等业务训推任务的优化提效； 4、深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、工作流编排等。