第四范式大模型系统优化工程师
任职要求
- 熟练掌握至少一种编程语言，如 C++ / Java / Python，并有较大规模项目开发经验 - 扎实掌握数据结构、算法、操作系统、数据库等计算机基础知识，了解并行计算或分布式计算 - 对推理框架、系统优化和企业级…
工作职责
面向企业级机器学习和生成式人工智能应用，负责推理框架研发、性能优化及国产信创硬件适配优化，具体包括但不限于：- 负责大模型推理框架的开发与优化，提升推理性能、资源利用率和系统稳定性 - 面向国产信创卡、GPU 及其他异构硬件平台，开展推理框架适配、移植和优化工作 - 结合业务场景，进行软硬件协同优化，降低推理成本，提升部署和交付效率 - 参与生成式人工智能相关基础组件和解决方案的研发与落地。
简介：参与面向大模型训练/推理的高性能计算与系统优化工作，可根据个人背景和研究兴趣选择以下方向之一深入推进： 1、面向GPU/NPU 等多硬件平台的算子开发与极致性能优化(CUDA/Cutlass/TileLang)。 2、跟踪前沿模型算法并完成高性能工程落地，深入框架层开展算子融合、内存/通信优化、流水编排等系统级性能调优。 3、探索基于大模型的高性能 Kernel 自动合成技术，参考 LLM-driven Kernel Generation 范式，研究高效 GPU/NPU Kernel 的端到端自动生成与迭代优化方法。 4、基于DSL（如 Triton、TVM TIR、Halide 等）的编译优化与自动调优技术研究。 5、多硬件后端（NVIDIA/国产芯片）的统一算子库建设与迁移适配。
1. 探索基于大模型的语音双工交互系统关键技术，包括流式语音理解、增量文本生成、打断检测与恢复等； 2. 参与端侧轻量化语音大模型的研发，开展模型压缩（剪枝/量化/蒸馏）、硬件感知优化与高效推理引擎实现； 3. 参与设计并实现端云任务动态协同调度机制，基于网络状态、用户意图、隐私敏感度等多维上下文，智能分配计算负载，实现性能与隐私的最优平衡； 4. 参与构建支持跨端云一致性的多轮对话状态管理框架，确保长上下文语义连贯性与用户记忆的无缝衔接； 5. 参与建立面向真实场景的端云融合语音系统综合评估体系，从延迟、功耗、准确率、鲁棒性到隐私合规性等维度开展系统级测试与优化。
1.负责多模态大模型GPU/CPU上训练和推理平台的开发和维护，提升平台整体的运行效率和稳定性； 2.参与多模态大模型的整体系统架构设计，包括数据流、计算图、分布式训练与推理框架； 3.负责大模型的业务探索，与相关团队紧密配合，将多模态模型落地到具体业务场景,提升业务收益。
1、负责公司各AI推理场景（LLM/多模态等）的推理系统研发和性能优化、资源调度、可观测性搭建、日常维护等工作 2、与算法团队深度合作，进行算法与系统的联合设计与优化（如模型量化、kvcache量化、投机采样等） 3、保持关注行业前沿技术，且有能力和热情开展创新研究