快手【留用实习】大模型推理/训练优化工程师
任职要求
1、硕士及以上学历，计算机、电子、自动化等专业优先； 2、熟悉python/C++，熟悉linux使用，有扎实的算法与数据结构基础； 3、有较强的自驱力和学习力，有严谨的科研思维，沟通良好擅长与人合作； 4、了解AI infra 整体技术栈，有大模型相关训练或推理优化实战经验；有vLLM、TensorRT-LLM、MLC-LLM、Tensorflow、PyTorch等框架之一的实践经验。 加分项： …
工作职责
1、参与大模型推理/训练优化。通过研发业界领先的AI Compiler 技术，支撑搜推场景在GPU上的训练计算性能优化；支持大模型推理优化技术在异构硬件上的落地； 2、参与各种大模型推理所需的功能性开发任务；相关编译优化功能开发，以图优化、算子融合、GPU高性能算子开发及自动Codegen等技术手段不断推高在不同卡型上的计算性能极限； 3、参与支持日常的大模型推理服务部署，参与内部日常提效工具的研发。
1、参与快手大规模深度学习推理引擎、大模型训练解决方案的研发与优化，包括大模型推理、模型训练框架、微调平台等； 2、参与底层算子的优化、通过优化访存pattern、计算提升推理性能，与算法部门合作，为公司大模型定制训练方案，探索RLHF、MoE、多模态、longcontext等前沿方向，提升训练性能； 3、优化推理框架上层调度策略，通过机内、机间的计算任务调度和通讯优化提升引擎性能；优化现有大语言模型相关工具和平台，提高模型训练、维护效率，降低成本，提升训练服务稳定性。
1、参与研发业界领先的深度学习编译技术，落地计算优化、显存优化及分布式优化技术到训练框架和推理框架中，赋能深度学习算法落地； 2、XLA 相关编译优化功能开发； 3、结合pytorch/tensorflow等上下游框架适配与集成； 4、异构大模型推理引擎优化，负责调研NV 上各种推理引擎的优化技术，并支持大模型推理各种优化技术在异构硬件上的落地。
1.参与AI与GPU相关项目的性能优化与研发，通过利用CPU、GPU的并行计算优化、架构优化、量化优化和异构调度等高性能优化技术，研发行业领先的高性能异构AI优化技术与编译优化技术； 2.针对搜索、推荐、广告、音视频以及大模型场景，优化模型训练和推理场景的性能； 3.与公司各算法部门深度合作，对重点项目进行算法与系统的联合优化。
1. 负责分布式大语言模型 (LLM) 推理系统的底层基础设施研究与探索，包括 GPU 和 RDMA 等，提升 GPU 环境下的稳定性和计算效率； 2. 负责大规模模型训练场景优化工作，通过建设全面的异常发现、故障自愈机制，提升平台训练 MFU，降低训练成本； 3. 基于容器以及 Kubernetes 技术，负责对机器学习领域中的资源调度、模型训练、模型推理、数据管理等多个子方向的成本效率优化工作； 4. 持续关注并跟进业界技术发展，比如超长上下文、思维链、多模态方向；