月之暗面【校招】LLM推理优化工程师
校招全职技术类/Technical地点:北京状态:招聘
工作描述
核心职责 训练-推理协同优化 推动 Quantized-aware Training (QAT) 和 Quantized Training 的工程化落地,研发W8A8、W4A16等低比特训练方案,实现训练与推理精度-效率的最优平衡 设计并实现 Speculative Decoding(投机解码)及其变体(如EAGLE,DFlash等)的全链路方案,包括Draft模型训练、接受率优化与系统调度策略 建立从训练到推理的端到端优化…
登录查看完整工作描述
微信扫码,1秒登录
包括英文材料
学历+
分布式系统+
https://www.distributedsystemscourse.com/
The home page of a free online class in distributed systems.
https://www.youtube.com/watch?v=7VbL89mKK3M&list=PLOE1GTZ5ouRPbpTnrZ3Wqjamfwn_Q5Y9A
Megatron+
https://www.youtube.com/watch?v=hc0u4avAkuM
vLLM+
https://www.newline.co/@zaoyang/ultimate-guide-to-vllm--aad8b65d
vLLM is a framework designed to make large language models faster, more efficient, and better suited for production environments.
https://www.youtube.com/watch?v=Ju2FrqIrdx0
vLLM is a cutting-edge serving engine designed for large language models (LLMs), offering unparalleled performance and efficiency for AI-driven applications.
SGLang+
[英文] Install SGLang
https://docs.sglang.ai/get_started/install.html
SGLang is a fast serving framework for large language models and vision language models.
https://github.com/sgl-project/sgl-learning-materials
还有更多 •••
相关职位

校招研发
任职要求 1. 本科及以上学历,计算机、人工智能、软件工程等相关专业 2. 扎实的计算机基础:操作系统、计算机网络、数据结构与算法;熟悉 Linux 环境与 Shell 脚本 3. 熟练掌握 Pyth
更新于 2026-08-03上海

实习研究
1. 思维清晰,逻辑严谨,对数字敏感,善于从数据中发现问题; 2. 熟练使用EXCEL,SQL等常用数据分析工具和语言; 3. 熟悉常用统计分析,统计学习模型;熟悉常用数据可视化的工具优先; 4. 喜
更新于 2026-06-15上海

实习研究
1. 海内外一流大学本科及以上学历,专业不限; 2. 有丰富的游戏经历,热爱游戏,关注游戏/互联网行业动态; 3. 勤于思考、善于学习,有责任心、好奇心,乐于接触新鲜事物; 4. 有较强的自驱力,对自
更新于 2026-06-15上海