阿里巴巴研究型实习生-智能算法产品事业部-多模态/大模型实习生
任职要求
1. 计算机、人工智能、数学等相关专业在读硕士或博士。 2. 扎实的机器学习与深度学习理论基础，熟练掌握Python，精通PyTorch等主流框架。 3. 有推荐领域、多模态领域、大模型等领域有相关实践者优先。 …
工作职责
随着大语言模型（LLM）在搜推广领域的深入应用，如何高效地将海量商品/内容信息与世界知识结合，成为突破推荐算法上限的关键。 本岗位重点探索生成式推荐中的核心基础设施——语义ID（Semantic ID）的构建。致力于解决现有ID体系维度单一、表达受限的问题，探索语义ID更丰富的兴趣表达。 具体职责： 1. 前沿跟进：研究生成式推荐前沿技术，快速跟进RecSys/KDD/SIGIR/ACL等顶会最新论文，探索语义ID与LLM的更佳的应用范式，并且在实际业务数据上验证。 2. 多兴趣表征：深入研究协同&多模态语义协作机制，探索多兴趣表征构建，，解决多维兴趣样本在训练过程中的Loss拉扯问题，探索基于图或对比学习等改进方案，构建更稳健的Item-to-Token映射机制。 3. 多兴趣语义ID：突破现有层级化方案（如RQ-VAE/RQ-Kmeans）仅能进行单一维度（如类目或单兴趣）表达的局限，将多兴趣表征进行量化。 4. 生成式LLM赋能：将构建的多兴趣语义ID应用于推荐场景的生成式大模型（LLM）训练中，降低训练/推理成本，提升模型对用户复杂行为序列的理解与生成能力。 5. 技术沉淀：负责实验数据的分析与整理，撰写技术报告；若产出具有创新性的研究成果，支持以第一作者身份发表顶级会议论文或申请专利。
1. 跟进和研发大规模语言模型（LLM）的预训练、持续训练、SFT、RLHF 等技术。 2. 跟进多模态的大模型（vLLM）预训练、SFT、RLHF等技术。 3. 研发基于大模型的淘宝问问助手、ChatBot、检索增强、Code、Longchain等下游应用。 4. 结合以上方向的探索和研究，撰写发表论文，和业界、学术界保持良好的交流。
1.多模态大模型应用研发：基于多模态大模型（MLLM）强大的世界知识与推理能力，研发复杂场景下的主体识别算法，精准定位视频/图文中的核心主体（如开箱商品、主推款），解决遮挡、多实例干扰等难题。 2.细粒度语义对齐与表征学习： 构建统一的多模态表征空间，负责封面、视频、商品图文之间的细粒度语义对齐，提升跨模态检索与粗筛的召回率。 3.判别模型设计： 设计具备“Thinking with Images”能力的判别式大模型，实现对“挂错品”、“封面党”等高阶语义偏差的精细化验证，并探索模型的可解释性（输出决策依据）。 4.模型蒸馏与落地： 参与大模型到轻量化小模型的知识蒸馏（Model Distillation）工作，设计表征-判别联合蒸馏框架，在保障算法精度的同时满足线上业务的高吞吐与低延时需求。 5.前沿技术探索： 跟踪CV、NLP及多模态领域的SOTA技术，结合业务场景进行创新，有机会将成果发表在CVPR、ICCV、ECCV等顶级会议上。
1.参与设计并实现单智能体/多智能体联合出价框架； 2.构建广告竞价中的反事实竞得率建模范式，优化多ADX环境下的广告主收益； 3.在开源仿真环境及真实日志上评估模型效果； 4.结合以上方向的探索和研究，撰写发表论文，和业界、学术界保持良好的交流。
我们是阿里妈妈搜索广告算法团队，负责淘宝搜索场景广告技术变现的算法设计和优化，包括并不限于： 1. 负责研究多模态大模型在淘宝海量图文、视频物料理解上的运用； 2. 负责研究生成式大模型/AIGC算法在广告投放物料挖掘上的运用； 3. 负责研究多模态大模型和生成式大模型在搜索广告中的全链路运用和升级； 4. 负责研究搜索广告场景下多物料投放算法的设计和优化，包含商品、直播、短视频等； 5. 负责研究超大规模多模态大模型的训练和推理加速； 6. 负责研究经典CV/多模态任务的设计和优化，包括分类、检测、OCR、度量学习等。