商汤大模型推理系统研发实习生
任职要求
1. 在计算机科学、工程或相关领域的本科或研究生学位，计算机基础扎实 2. 掌握Python和C++编程语言，具备Trition/Cute/Tilelang/CUDA编程经验，理解GPU并行计算原理 3. 对大语言模型的优化和高性能计算有浓厚兴趣 4.…
工作职责
1. 参与大模型推理系统设计和研究，进行服务层、推理层和算法层的优化探索，实现整体效率提升 2. 进行推理性能分析和优化，实现对gpu，npu等异构硬件，云端等各种场景的高效推理技术 3. 探索融合模态大模型的推理技术方案 4. 强化学习训练中的推理框架优化探索
* 参与图像视频生成模型的推理系统的设计与优化，包括前沿模型推理支持，服务调度，推理框架，推理算子，推理算法等 * 跟进并复现业界前沿的图像视频生成模型的压缩推理技术，包括稀疏，量化，蒸馏等 * 进行推理性能分析和优化，寻找推理瓶颈，分析问题来源，设计优化方案等
核心职责 参与小红书万亿级Token量推理系统构建，包括但不限于大模型智能网关、大模型弹性伸缩、推理系统优化等方向，共同打造国内领先的大模型推理系统； 探索负载感知的推理系统流量调度算法，如基于Prefix Cache命中率调度、基于P/D分离的流量调度、基于KVCache使用率、推理排队负载感知的流量调度、长上下文请求调度优化等，持续提升MaaS系统的稳定性、成本效益； 探索并跟进业界开源SOTA模型，如Qwen系列、DeepSeek系列，多维度评估模型效果并建立相关的准入体系，及时上架到MaaS系统； 参与MaaS系统的国产卡适配，如华为910C、阿里PPU等； 参与攻克大规模分布式推理系统带来的复杂挑战，通过弹性调度、容量规划、链路压测等手段提升系统健壮性，确保平台能够弹性扩展，支撑业务的飞速增长。
ByteIntern：面向2026届毕业生（2025年9月-2026年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：Data AML是字节跳动公司的机器学习中台，为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力，并在这些业务的问题上研究一些具有通用性和创新性的算法。同时，也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。此外，AML还在AI for Science，科学计算等领域做一些前沿研究。 1、负责机器学习训练和推理系统的研发与性能优化，包括但不限于：超大模型计算性能优化、千卡训练集群调优、分布式推理系统、大规模推理流量调度等； 2、负责解决大规模AI系统中高并发、高可靠性、高可扩展性等技术难关，支撑公司内外千万客户流量需求； 3、负责大模型训练和推理前瞻性技术架构的调研和引入，技术方案不限于分布式训推系统、子图匹配、编译优化、模型量化等； 4、负责异构硬件的引入与训练推理框架的集成，包括但不限于GPU、NPU、TPU等； 5、面向全球多地域超大规模GPU算力集群，通过弹性调度、GPU 超卖、任务编排等方式不断提升算力利用率； 6、与算法部门深度合作，分析性能瓶颈，通过软硬结合提升模型训推效率，支持AI工具链和技术生态建设，推动公司AI关键业务发展。
ByteIntern：面向2026届毕业生（2025年9月-2026年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：Data AML是字节跳动公司的机器学习中台，为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力，并在这些业务的问题上研究一些具有通用性和创新性的算法。同时，也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。此外，AML还在AI for Science，科学计算等领域做一些前沿研究。 1、负责机器学习训练和推理系统的研发与性能优化，包括但不限于：超大模型计算性能优化、千卡训练集群调优、分布式推理系统、大规模推理流量调度等； 2、负责解决大规模AI系统中高并发、高可靠性、高可扩展性等技术难关，支撑公司内外千万客户流量需求； 3、负责大模型训练和推理前瞻性技术架构的调研和引入，技术方案不限于分布式训推系统、子图匹配、编译优化、模型量化等； 4、负责异构硬件的引入与训练推理框架的集成，包括但不限于GPU、NPU、TPU等； 5、面向全球多地域超大规模GPU算力集群，通过弹性调度、GPU 超卖、任务编排等方式不断提升算力利用率； 6、与算法部门深度合作，分析性能瓶颈，通过软硬结合提升模型训推效率，支持AI工具链和技术生态建设，推动公司AI关键业务发展。