阿里巴巴算法技术-搜索多模态大模型应用-算法工程师实习生
任职要求
1. 自然语言处理、机器学习、数据挖掘、人工智能等相关专业的硕士生/博士生； 2. 熟悉多模态/大语言模型的基本原理和相关算法，如BLIP2、CLIP、GPT、GPT-4等； 3. 熟练掌握Tensorflow、Pytorch等深度学习框架，扎实的编程基础，具备独立的算法实现能力； 4. 有LLM实操经验，参与过大模型预训练，SFT，RLHF等项目者优先； 5. 良好的逻辑分析能力和数理基础，对算法原理及应用有较深入的理解，在人工智能相关的各类国际顶级会议/期刊中发表过论文者优先。
工作职责
1. 跟进多模态大模型（vLLM）预训练、SFT、RLHF等技术，调研与跟进最新进展；负责多模态相关性大模型、多模态大模型稀疏检索和稠密模型，多模态大模型个性化预训练方向，以及多模态大语言模型的训练和推理加速； 2. 多模态大模型个性化预训练：研发个性化预训练模型，探索在训练样本、模型参数量等维度上scale-up能带来的收益，研究在电商搜索场景下, CTR和CVR 模型中用户动线特征的挖掘和应用，包括用户行为模型的获取、特征设计、结构优化等个性化建模； 3. 多模态大模型的训练和推理加速：协助研究和开发多模态大语言模型的加速技术，包括但不限于量化、剪枝和蒸馏，以及数据特征和调度优化；实现和优化多模态大模型推理框架，以提高推理速度和效率；与工程团队合作，解决机器学习模型在部署过程中的性能问题； 4. 多模态大模型相关性模型：研发基于多模态大模型的相关性标注和评测大模型，应用到体验实验评测、体验监控、离线数据标注、线上相关性判断等方向； 5.多模态大模型稀疏检索和稠密模型：研究方向包括不限于：电商词表生成、多模态稀疏词表和稠密表征技术、LLMs幻觉缓解等问题。
1.跟进多模态大模型 (VLLM)预训练、SFT、RLHF等技术，调研与跟进最新进展；负责多模态相关性大模型、多模态大模型稀疏检索和稠密模型，多模态大模型个性化预训练方向，以及多模态大语言模型的训练和推理加速； 2. 多模态大模型个性化预训练：研发个性化预训练模型，探索在训练样本、模型参数量等维度上scale-up能带来的收益，研究在电商搜索场景下，CTR和CVR 模型中用户动线特征的挖掘和应用，包括用户行为模型的获取、特征设计、结构优化等个性化建模； 3. 多模态大模型的训练和推理加速：协助研究和开发多模态大语言模型的加速技术，包括但不限于量化、剪枝和蒸馏，以及数据特征和调度优化；实现和优化多模态大模型推理框架，以提高推理速度和效率；与工程团队合作，解决机器学习模型在部署过程中的性能问题； 4. 多模态大模型相关性模型：研发基于多模态大模型的相关性标注和评测大模型，应用到体验实验评测、体验监控、离线数据标注、线上相关性判断等方向； 5. 多模态大模型稀疏检索和稠密模型：研究方向包括不限于：电商词表生成、多模态稀疏词表和稠密表征技术、LLMs幻觉缓解等问题。
1. 负责商品搜索相关的计算机视觉算法创新和研发，特别是大规模图像/多模态算法； 2. 服务于拍立淘图搜核心业务的视觉算法技术方向，包括商品多模态理解、图像理解、图像/多模态大模型应用； 3. 致力于为淘天大搜索核心业务打造行业领先的计算机视觉创新技术。
团队介绍：字节跳动豆包大模型团队成立于 2023 年，致力于开发业界最先进的 AI 大模型技术，成为世界一流的研究团队，为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心，研究方向涵盖NLP、CV、语音等，在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源，在相关领域持续投入，已推出自研通用大模型，提供多模态能力，下游支持豆包、扣子、即梦等50+业务，并通过火山引擎开放给企业客户。目前，豆包APP已成为中国市场用户量最大的AIGC应用。 1、负责多模态大模型的研发和应用，研究相关技术在豆包、智能助手、智能硬件等领域的全新应用和解决方案，包括而不限于多模态理解生成，视觉Agent等能力，研发以人工智能技术为核心的新技术、新产品； 2、探索超大规模模型，进行极致系统优化； 3、数据建设、指令微调、偏好对齐、模型优化； 4、相关应用落地，包括看图对话、问答、搜索、生成创作、逻辑推理、代码生成等； 5、在未来生活中的更多使用场景的深入研究和探索，满足用户不断增长的智能交互需求，全面提升用户在未来世界的生活和交流方式。
团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责多模态大模型的研发和应用，探索超大规模模型，进行极致系统优化；研究相关技术在豆包、智能助手、智能硬件等领域的全新应用和解决方案，包括而不限于多模态理解生成，视觉Agent等能力； 2、数据建设、指令微调、偏好对齐、模型优化； 3、相关应用落地，包括看图对话、问答、搜索、生成创作、逻辑推理、代码生成等； 4、在未来生活中的更多使用场景的深入研究和探索，研发以人工智能技术为核心的新技术、新产品；满足用户不断增长的智能交互需求，全面提升用户在未来世界的生活和交流方式。