小红书AI大模型部署系统研发工程师实习生
任职要求
任职要求 计算机/软件工程相关专业在校生,熟悉Go/Python/Java至少一门语言 了解Linux系统及算法基础,熟悉MySQL/Redis/MQ等组件使用 熟悉 Kubernetes 技术栈,有一定的云原生机器学习系统实践和开发经验 有大模型部署经验,对 vLLM/SGLang/Dynamo 等至少一种推理框架有使用经验 具备快速学习能力,熟练使用 Git,熟练使用 github copilot/cursor …
工作职责
核心职责 参与小红书大模型平台推理部署等流程及工具的研发建设,完善平台现有功能 参与平台Quota管理模块的开发,实现多机房、多集群环境下的,各种异构计算资源的配额管理功能 参与平台大模型训练/压缩/推理/数据集/资源调度等流程及工具的研发建设
1、参与AI平台大模型推理部署等流程及工具的研发建设,完善平台现有功能。 2、参与AI平台Quota管理模块的开发,实现多机房、多集群环境下的,各种异构计算资源的配额管理功能。 3、参与AI平台联邦调度能力的设计和开发,与下游云原生团队共同实现平台联邦和弹性部署能力。
核心职责 参与小红书万亿级Token量推理系统构建,包括但不限于大模型智能网关、大模型弹性伸缩、推理系统优化等方向,共同打造国内领先的大模型推理系统; 探索负载感知的推理系统流量调度算法,如基于Prefix Cache命中率调度、基于P/D分离的流量调度、基于KVCache使用率、推理排队负载感知的流量调度、长上下文请求调度优化等,持续提升MaaS系统的稳定性、成本效益; 探索并跟进业界开源SOTA模型,如Qwen系列、DeepSeek系列,多维度评估模型效果并建立相关的准入体系,及时上架到MaaS系统; 参与MaaS系统的国产卡适配,如华为910C、阿里PPU等; 参与攻克大规模分布式推理系统带来的复杂挑战,通过弹性调度、容量规划、链路压测等手段提升系统健壮性,确保平台能够弹性扩展,支撑业务的飞速增长。
核心职责: 参与AI平台大模型推理部署等流程及工具的研发建设,完善平台现有功能。 参与AI平台Quota管理模块的开发,实现多机房、多集群环境下的,各种异构计算资源的配额管理功能。 参与AI平台联邦调度能力的设计和开发,与下游云原生团队共同实现平台联邦和弹性部署能力。
Bravo 102是由阿里国际技术全团队共同发起的技术人才孵化计划,打破传统人才选拔及培养框架,为有志于走向AI未来的技术新锐们,提供“你行你上+我要我来”的双向奔赴式的实习机会选择。 在这里,“我”将不被岗位定义,以能力选择业务战场,与全球顶尖团队并肩作战,沉浸式体验全球多元化业务战场与亿级流量高并发系统。 加入我们,成为AIDC首批102位Bravo Talent,一起掌舵AI,为我们的未来Bravo! 关于我们: 阿里国际技术专注于提供卓越的数字零售技术服务,致力于服务全球消费者,并触达全球中小企业买家。我们希望利用AI技术让每个人都能够轻松、便捷地享受全球优质的商品和服务,推动商业活动更加高效、可持续,为社会未来的发展带来更多可能性。 我们提供涵盖商品智能、商家服务、供应链优化、跨境物流、搜索推荐引擎、用户增长、金融服务、客户体验、AI 基础设施、企业数智化、全球云及高可用架构、研发效能等技术领域,实习生可跨多个技术域实践,深度参与多场景技术攻坚,探索你想选择的职业发展方向; 在这里,你将和我们一起,采用领先的数字化及人工智能等技术持续解决商业活动中的现实问题,创造技术价值,为消费者带来更加美好的体验!欢迎加入我们! 以下工作内容你均有可能参与: 1、参与基础软件的设计、开发和维护,如分布式文件系统、缓存系统、Key/Value 存储系统、数据库、Linux 操作系统等,探索 AI 在系统调优中的应用(如通过机器学习预测热点数据提升缓存命中率); 2、参与国际电商系统及基础设施的核心模块开发,集成 AI 模型服务,为公司产品提供强有力的后台支持,设计并实施最强大的解决方案; 3、参与产品的开发和维护,完成从需求到设计、开发和上线等整个项目周期内的工作,能够通过 AI 工具提升开发效率; 4、参与海量数据处理和开发,使用Java/SQL/Python开发 ETL 流程,结合大模型实现数据清洗与特征工程自动化(如利用大模型生成 SQL 查询模板); 5、参与项目为用户提供丰富而有价值的桌面或无线软件产品,能够探索 AI 在业务场景的落地应用(如大模型在供应链定价、销量计划、库存、履约等复杂场景的智能洞察和协同,基于大模型的个性化推荐系统,交互式智能导购,需求预测模型部署,异常检测算法实现等)。