钉钉钉钉-AI Infra架构师-大模型推理优化
任职要求
1. 编程基础扎实： 熟悉 Python、C++或Go，具备优秀的工程能力和代码风格 2. 熟悉深度学习框架： 熟悉至少一种主流深度学习框架（PyTorch, TensorFlow等），了解其模型结构和训练流程。 3. 丰富的推理框架实践经验： 深入理解并具备丰富的主流推理框架实践经验，如 vLLM、SGLang、TensorRT, ONNX Runtime, TVM, OpenVINO 等，有实际…
工作职责
1. 推理引擎应用与优化： 负责AI模型的性能优化与部署，应用业界主流推理框架（如vLLM、SGLang、TensorRT、ONNX Runtime、 TVM、OpenVINO等）对模型进行加速 2. 模型性能深度分析与调优： 针对公司业务场景，对各类AI模型（包括但不限于大语言模型LLM、VL、ASR、TTS等）在不同硬件平台（GPU、PPU、昇腾、海光等）上进行深度性能分析、定位瓶颈并制定优化方案 3. 模型轻量化技术实践： 熟练运用模型量化（PTQ/QAT）、剪枝、蒸馏等技术，在满足业务精度要求的前提下，最大化提升模型推理速度、降低资源消耗 4. 自动化部署与MLOps流程建设： 建立并完善模型部署、监控和迭代的自动化流程（CI/CD、MLOps），确保模型稳定、高效地服务内外部客户 5. 前沿技术跟进与引入： 持续跟进行业前沿的AI推理加速技术，探索并引入新的优化方案、工具及硬件（如LLM推理优化库、新型AI芯片等），持续提升业务模型的部署效率和运行性能
1.post-training 框架研发，聚焦 LLM + RL 方向，设计框架架构与技术路线，提升其扩展性、稳定性与效率。 2.优化框架性能，如训练速度、显存占用等，降低训练成本，为 LLM + RL 训练提供有力技术支撑。 3.协同业务团队，将 LLM 能力在业务场景落地，根据业务需求定制训练方案并评估验证模型。 4.负责模型训练和推理所需的IaaS基础设施的规划、迭代与框架维护，致力于提供一致性、可扩展、高可靠的平台技术底座；
1、负责混合云云原生AI Infra技术架构设计、推理场景系统优化、云原生AI套件等开发工作。 2、负责研发AI异构计算软件栈，通过结合不同硬件、高性能网络、缓存等技术，实现AI计算的全链路优化，助力打造高可靠、高性能、高效率的AI算力基础设施； 3、洞察人工智能及深度学习的发展趋势，积极参与下一代AI基础设施的设计与研发。
1、负责混合云云原生AI Infra技术架构设计、推理场景系统优化、云原生AI套件等开发工作； 2、负责研发AI异构计算软件栈，通过结合不同硬件、高性能网络、缓存等技术，实现AI计算的全链路优化，助力打造高可靠、高性能、高效率的AI算力基础设施； 3、洞察人工智能及深度学习的发展趋势，积极参与下一代AI基础设施的设计与研发。
1、负责研发AI计算软件栈，通过结合不同硬件、高性能网络、缓存等技术，实现AI计算的全链路优化，助力打造高可靠、高性能、高效率的AI算力基础设施； 2、负责混合云计算AI Infra技术架构设计、训练场景化设计，训推一体场景化设计，推理场景系统优化； 3、负责混合云AI解决方案级能力的设计，整合集成集团内优势产品以及生态优势产品，打造解决方案级能力； 4、洞察人工智能及大模型的发展趋势，预研下一代AI基础设施的设计与研发。