小红书AI大模型推理系统研发工程师实习生
任职要求
任职要求 熟悉业界主流Dense、MOE大模型架构及主要特点，能识别出模型效果及主要使用场景，支持用户大模型的选型和使用需求； 了解至少一种大模型服务推理部署框架，如vLLM、SGLang、Dynamo等，并有过大模型服务部署的经验； 优秀的代码能力、数据结构和基础算法功底，熟悉C++/Python开发，熟悉 Linux/…
工作职责
核心职责 参与小红书万亿级Token量推理系统构建，包括但不限于大模型智能网关、大模型弹性伸缩、推理系统优化等方向，共同打造国内领先的大模型推理系统； 探索负载感知的推理系统流量调度算法，如基于Prefix Cache命中率调度、基于P/D分离的流量调度、基于KVCache使用率、推理排队负载感知的流量调度、长上下文请求调度优化等，持续提升MaaS系统的稳定性、成本效益； 探索并跟进业界开源SOTA模型，如Qwen系列、DeepSeek系列，多维度评估模型效果并建立相关的准入体系，及时上架到MaaS系统； 参与MaaS系统的国产卡适配，如华为910C、阿里PPU等； 参与攻克大规模分布式推理系统带来的复杂挑战，通过弹性调度、容量规划、链路压测等手段提升系统健壮性，确保平台能够弹性扩展，支撑业务的飞速增长。
核心职责 参与小红书大模型平台推理部署等流程及工具的研发建设，完善平台现有功能 参与平台Quota管理模块的开发，实现多机房、多集群环境下的，各种异构计算资源的配额管理功能 参与平台大模型训练/压缩/推理/数据集/资源调度等流程及工具的研发建设
1、参与AI平台大模型推理部署等流程及工具的研发建设，完善平台现有功能。 2、参与AI平台Quota管理模块的开发，实现多机房、多集群环境下的，各种异构计算资源的配额管理功能。 3、参与AI平台联邦调度能力的设计和开发，与下游云原生团队共同实现平台联邦和弹性部署能力。
核心职责： 参与AI平台大模型推理部署等流程及工具的研发建设，完善平台现有功能。 参与AI平台Quota管理模块的开发，实现多机房、多集群环境下的，各种异构计算资源的配额管理功能。 参与AI平台联邦调度能力的设计和开发，与下游云原生团队共同实现平台联邦和弹性部署能力。
Bravo 102是由阿里国际技术全团队共同发起的全球顶尖技术人才孵化计划，打破传统人才选拔及培养框架，为有志于走向AI未来的技术新锐们，提供“你行你上+我要我来”的双向奔赴式的实习机会选择。 在这里，“我”将不被岗位定义，以能力选择业务战场，与全球顶尖团队并肩作战，沉浸式体验全球多元化业务战场与亿级流量高并发系统。 加入我们，成为AIDC首批102位Bravo Talent，一起掌舵AI，为我们的未来Bravo！ 关于我们： 阿里国际技术专注于提供卓越的数字零售技术服务，致力于服务全球消费者，并触达全球中小企业买家。我们希望利用AI技术让每个人都能够轻松、便捷地享受全球优质的商品和服务，推动商业活动更加高效、可持续，为社会未来的发展带来更多可能性。 我们提供涵盖商品智能、商家服务、供应链优化、跨境物流、搜索推荐引擎、用户增长、金融服务、客户体验、AI 基础设施、企业数智化、全球云及高可用架构、研发效能等技术领域，实习生可跨多个技术域实践，深度参与多场景技术攻坚，探索你想选择的职业发展方向； 在这里，你将和我们一起，采用领先的数字化及人工智能等技术持续解决商业活动中的现实问题，创造技术价值，为消费者带来更加美好的体验！欢迎加入我们！ 职位描述： 1、负责大语言模型、图像模型、多模态等深度学习模型的在线推理、离线训练优化工作； 2、负责AI 生态内基础引擎系统能力的建设，包括信息检索、AI 记忆、流程调度等。 3、负责 AI 算法服务能力建设，针对业务场景的真实需求，设计合理的技术方案和路线