小红书大模型压缩算法工程师实习生
任职要求
任职要求 1、熟悉业界主流Dense、MOE大模型架构及主要特点，能识别出模型效果及主要使用场景，支持用户大模型的选型和使用需求； 2、了解至少一种大模型服务推理部署框架，如vLLM、SGLang、Dynamo等，并有过大模型服务部署的经验； 3、优秀的代码能力、数据结构和基础算法功底，熟悉C++/Py…
工作职责
1、参与小红书万亿级Token量推理系统构建，包括但不限于大模型智能网关、大模型弹性伸缩、推理系统优化等方向，共同打造国内领先的大模型推理系统； 2、探索负载感知的推理系统流量调度算法，如基于Prefix Cache命中率调度、基于P/D分离的流量调度、基于KVCache使用率、推理排队负载感知的流量调度、长上下文请求调度优化等，持续提升MaaS系统的稳定性、成本效益； 3、探索并跟进业界开源SOTA模型，如Qwen系列、DeepSeek系列，多维度评估模型效果并建立相关的准入体系，及时上架到MaaS系统； 4、参与MaaS系统的国产卡适配，如华为910C、阿里PPU等； 5、参与攻克大规模分布式推理系统带来的复杂挑战，通过弹性调度、容量规划、链路压测等手段提升系统健壮性，确保平台能够弹性扩展，支撑业务的飞速增长。
关于我们： AI Business 成立于2023年4月，是阿里国际数字商业集团设立的一层业务组织，专注于大模型技术能力建设和 AI 原生应用和产品的打造，旨在用最先进的 AI 技术重塑平台竞争力，为商家和用户带来极致电商体验。 作为跨境电商领域的 AI 先锋，我们坚定地相信人工智能对塑造未来电商的关键作用，并坚持对 AI 领域人才的培养和发展。我们已经汇聚了业内顶尖的 AI 算法专家、AI 工程师和AI产品团队，并诚挚邀请有共同使命感、追求创新与卓越的 AI 人才加入我们的团队，共同用AI技术书写数字商业领域的新篇章。 职位描述： 1、负责多语言大语言模型（LLM）的预训练、微调及优化，探索高效训练策略（如低资源语种能力迁移、任务调度优化等），提升模型性能与跨文化场景适应性； 2、构建多模态大模型技术体系，包括图文生成、视频内容生成、多模态检索与信息抽取，支持商品虚拟试穿、智能客服等业务场景。 3、推动大模型与业务深度融合，开发基于LLM的对话系统、Agent产品及RAG系统，优化电商文本生成、跨语言信息匹配、时间序列预测等场景的智能决策能力； 4、设计强化学习对齐算法（如RLHF/DPO），提升模型在垂直领域（如商品推荐、用户交互）的精准度与可控性。 4、实现大模型的高效推理部署，包括模型压缩量化、GPU并行计算优化（如CUDA加速），确保高并发场景下的服务稳定性； 5、探索生成式AI与电商场景结合的前沿技术（如AIGC内容生成、多模态商品检索），推动技术规模化落地。
T-Star计划是阿里巴巴淘天集团顶尖人才招聘和培养项目，继承“阿里星〞的使命与愿景，面向全球招募顶尖技术人才。期待你们在淘天，通过极具挑战的前沿课题与亿级规模的海量数据、应用场景，探索和实践最前沿的Al技术，在有价值的业务场景落地技术成果。 工作内容： 1. 大模型驱动的算法革新： a. 参与大模型（LLM、多模态大模型）在电商核心场景（搜索、推荐、广告、多智能体对话等）中的算法创新与应用； b. 研究大模型与经典搜推广模型的融合方案，提升模型效果与用户体验； 2. 下一代AI系统构建： a. 通过分布式训练、模型压缩、低延迟推理等技术，面向工业级应用完成千亿级参数大模型的高效训练与部署； b. 尝试生成式AI、多智能体协作等前沿方向，推动AI技术在电商领域的创新应用； 3. 大模型在亿级用户规模落地的实战： a. 直面淘宝数亿用户、百亿级行为数据的挑战，落地大模型应用； b. 参与双11、618等顶级电商场景的算法优化，见证大模型技术驱动商业增长的完整链路。 T-Star实习可以带给你什么？ ꔷ ①加入前沿技术探索队伍，参与顶级课题研究，有机会实现工业界项目落地。②跟企业大牛导师/学术界名导一起做有价值的课题。③丰富的技术资源、海量的数据与优秀的团队助力发paper ④有机会提前获得秋招直通T-Star的正式Offer。
核心职责与研究课题： 1. 研发垂域大模型：面向淘宝复杂工程技术体系，构建懂淘宝上下文的研发垂域大模型。 ①设计面向复杂工程系统的大模型数据构建和训练策略，涵盖离线的研发数据的高质量组织与清洗、在线人机协同的用户轨迹数据组织与迭代、算法训练方式策略选择（CPT、SFT、RL/RLHF）等； ②攻克研发场景的大模型面临的工程系统关系理解、研发领域知识显式记忆与推理、研发域差异化任务规划及工具调用、及情景感知检索等方向难题，打造懂业务、懂架构的研发智能体能力。 2. 端侧大模型探索：结合淘宝开源端侧深度推理引擎 MNN，探索极致高效的端侧大模型技术。 ①摒弃单纯的模型压缩思路，以端侧NPU/CPU/GPU 的硬件特性牵引大模型架构设计，探索并设计适合端侧运行的高效模型架构，在有限算力下突破性能瓶颈； ②负责端侧模型的全流程训练探索，涉及从预训练及后训练优化，结合投机采样、KV Cache优化、混合量化等优化，得到高性能的端侧大模型。 T-Star实习可以带给你什么？ ① 加入前沿技术探索队伍，参与顶级课题研究，有机会实现工业界项目落地。 ② 跟企业大牛导师/学术界名导一起做有价值的课题。 ③ 丰富的技术资源、海量的数据与优秀的团队助力发paper。
1. 大模型驱动的算法革新： a. 参与大模型（LLM、多模态大模型）在电商核心场景（搜索、推荐、广告、多智能体对话等）中的算法创新与应用； b. 研究大模型与经典搜推广模型的融合方案，提升模型效果与用户体验； 2. 下一代AI系统构建： a. 通过分布式训练、模型压缩、低延迟推理等技术，面向工业级应用完成千亿级参数大模型的高效训练与部署； b. 尝试生成式AI、多智能体协作等前沿方向，推动AI技术在电商领域的创新应用； 3. 大模型在亿级用户规模落地的实战： a. 直面淘宝数亿用户、百亿级行为数据的挑战，落地大模型应用； b. 参与双11、618等顶级电商场景的算法优化，见证大模型技术驱动商业增长的完整链路。