小红书大模型压缩算法工程师(实习)
任职要求
1、熟悉蒸馏、剪枝、量化等模型压缩常用方案,参与或主导过大型项目业务落地或有相关论文者优先; 2、熟悉至少一种主流的大模型训练或推理框架(PyTorch / Megatron / vLLM / SGLang等)的原理和实现; 3、熟练使用Python/C++至少一种语言,并具备良好的代码质量和风格; 4、有强烈的工作责任心,较好的学习能力、沟通能力和自驱力; 5、有大模型压缩或小型化模型设计经验者优先; 6、有优秀开源项目经历者优先。
工作职责
1、探索研发针对大语言模型、多模态大模型、MoE模型、StableDiffusion模型等模型的压缩技术,包括但不限于量化、蒸馏、剪枝、稀疏化等; 2、参与/负责多个业务场景中的模型压缩技术实现,对模型进行轻量化压缩,提高训练/推理效率,支持业务降本增效; 3、参与/负责针对英伟达GPU、华为昇腾NPU等不同的计算硬件,制定不同的模型压缩方案并在业务落地;
1、为实现类 Sora 模型实时化无损生成研究可行方案, 包括但不限于 步数蒸馏, efficiency-attention 计算, cache-reuse 策略, QAT训练等; 2、为 LLM/MLLM 的高效推理探索前沿解决方案, 包括但不限于 efficiency architecture, sparse attention, fp8/4-tuning, data/model distillation, speculative decoding等; 3、在指导下参与视频生成大模型/多模态大模型的全链路探索。
1. 负责手机上图像算法的开发,例如人脸识别,文本检测OCR,视觉SLAM 2. 在手机上优化和部署算法,包括模型的压缩、量化和加速,并使用手机上的各种计算单元包括CPU、GPU和NPU; 3. 负责训练数据的预处理工作,包括如何收集图像数据,标注数据,数据增强和数据的清洗工作; 4. 参与创新技术的预研和产品化工作,紧跟业界领先的算法,设计更加优秀的算法, 并撰写相关论文,专利。
关于我们: AI Business 成立于2023年4月,是阿里国际数字商业集团设立的一层业务组织,专注于大模型技术能力建设和 AI 原生应用和产品的打造,旨在用最先进的 AI 技术重塑平台竞争力,为商家和用户带来极致电商体验。 作为跨境电商领域的 AI 先锋,我们坚定地相信人工智能对塑造未来电商的关键作用,并坚持对 AI 领域人才的培养和发展。我们已经汇聚了业内顶尖的 AI 算法专家、AI 工程师和AI产品团队,并诚挚邀请有共同使命感、追求创新与卓越的 AI 人才加入我们的团队,共同用AI技术书写数字商业领域的新篇章。 职位描述: 1、负责多语言大语言模型(LLM)的预训练、微调及优化,探索高效训练策略(如低资源语种能力迁移、任务调度优化等),提升模型性能与跨文化场景适应性; 2、构建多模态大模型技术体系,包括图文生成、视频内容生成、多模态检索与信息抽取,支持商品虚拟试穿、智能客服等业务场景。 3、推动大模型与业务深度融合,开发基于LLM的对话系统、Agent产品及RAG系统,优化电商文本生成、跨语言信息匹配、时间序列预测等场景的智能决策能力; 4、设计强化学习对齐算法(如RLHF/DPO),提升模型在垂直领域(如商品推荐、用户交互)的精准度与可控性。 4、实现大模型的高效推理部署,包括模型压缩量化、GPU并行计算优化(如CUDA加速),确保高并发场景下的服务稳定性; 5、探索生成式AI与电商场景结合的前沿技术(如AIGC内容生成、多模态商品检索),推动技术规模化落地。