阿里巴巴淘宝平台事业部-多模态算法工程师（VLLM/CV/LLM）-商家智能服务
任职要求
1. 计算机科学相关专业（人工智能、计算机科学、电子信息工程、数学等）硕士及以上学历； 2. 有智能客服、多模态大模型、CV等背景和工作经验的，或在相关领域国际顶会发表过论文者优先； 3. 扎实的技术背景：对基于图像、视频、语音、文本等模态内容的各类算法算法有一定的理解，包括不限于图像/视频理解、图片分类、 检测、分割、OCR、图像视频生成等；了解VLLM/ViT/GAN/Diffusion等主流图像模型架构，有相关的实践或研究经验，较强的论文阅读和复现的能力，独立问题分析和解决能力； 4. 熟练掌握机器学习/深度学习的基本方法，具有一定的独立问题分析和解决能力，对解决具有挑战性问题能够充满热情； 5. 熟练掌握Java/C++/python 中至少一门语言，具有扎实的数据结构功底，能够独立完成算法模块设计开发和测试。
工作职责
1. 负责将多模态大模型技术整合到小蜜智能问答系统中，不断提升系统的智能化水平和用户体验； 2. 研究并应用最新的多模态理解技术，如图像识别、自然语言处理和语音识别等，以实现系统对各种类型输入的处理能力，或将图像生成能力用于离线知识生产和实时问答； 3. 深入挖掘商品的图片、视频、文本介绍等各个模态中包含的有价值信息，理解并提炼商品问答知识； 4. 与数据科学团队合作，设计和实施模型训练策略，针对特定领域，进行多模态模型prompt设计和调优； 5. 深入跟踪调研多模态/NLP/CV等方向的前沿技术相关内容，包括文生图、图生文等。
团队介绍：Data-电商-平台治理-内容理解基础算法团队，主要 focus 在 NLP/CV/多模态的大模型算法和基础算法研发上，旨在沉淀CV/NLP/多模态方向上的业界SOTA模型，针对电商数据优化算法，支持模型训练和推理加速，提升电商业务效果。 1、模型压缩和推理框架开发：推理加速的研究，包括但不限于模型量化、剪枝、TensorRT、TensorRT-LLM推理优化等； 2、梳理&沉淀算法库：抽象算法接口，提高算法/预训练模型的复用率，同时优化数据采集和模型训练的流程，提升效率； 3、技术输出：定期分享训练和推理优化技术，赋能业务，沉淀专利和论文。
团队介绍：Data-电商-平台治理-内容理解基础算法团队，主要 focus 在 NLP/CV/多模态的大模型算法和基础算法研发上，旨在沉淀CV/NLP/多模态方向上的业界SOTA模型，针对电商数据优化算法，支持模型训练和推理加速，提升电商业务效果。 1、模型压缩和推理框架开发：推理加速的研究，包括但不限于模型量化、剪枝、TensorRT、TensorRT-LLM推理优化等； 2、梳理&沉淀算法库：抽象算法接口，提高算法/预训练模型的复用率，同时优化数据采集和模型训练的流程，提升效率； 3、技术输出：定期分享训练和推理优化技术，赋能业务，沉淀专利和论文。
1、研发面向大语言/多模态/CV/NLP等类型模型的推理与训练框架； 2、参与推理框架研发优化，包括算子优化、推理架构优化、异构调度等多种技术研发落地等； 3、参与训练框架研发优化，包括数据读取、分布式训练及微调工具链等AI基础设施的建设等； 4、参与多个业务场景中的模型压缩技术实现，对模型进行轻量化压缩，提高训练/推理效率，支持业务降本增效； 5、与公司各算法部门深度合作，参与大语言模型、多模态大模型、计算机视觉、语音、自然语言处理等业务训推任务的优化提效； 6、深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、工作流编排等。
1、负责分布式大语言模型 (LLM) 推理系统的底层基础设施研究与探索，包括 GPU 和 RDMA 等，提升 GPU 环境下的稳定性和计算效率； 2、负责大规模模型训练场景优化工作，通过建设全面的异常发现、故障自愈机制，提升平台训练 MFU，降低训练成本； 3、基于容器以及 Kubernetes 技术，负责对机器学习领域中的资源调度、模型训练、模型推理、数据管理等多个子方向的成本效率优化工作； 4、持续关注并跟进业界技术发展，比如超长上下文、思维链、多模态方向。