阿里巴巴淘天算法技术-多模态内容理解算法-杭州
任职要求
1. 计算机、人工智能、模式识别、自然语言处理等相关专业硕士及以上学历； 2. 熟悉深度学习基础框架（PyTorch/TensorFlow），具备扎实的编程能力； 3. 熟悉自然语言处理（NLP）、计算机视觉（CV）基础任务、多模态任务，如文本分类、序列标注、图像理解、目标检测、QA等； 4. 有视频理解、多模态内容分析、知识图谱构建、意图识别、文本生成等项目经验者优先； 5. 有语义理解…
工作职责
淘天内容理解算法团队，聚焦AI发展与业务结合的应用，赋能淘天推荐、搜索、广告、直播等多个业务场域，探索语义理解与搜推广结合应用的新范式。 本岗位负责构建面向视频、商品等多模态内容的高级语义理解系统，深入挖掘内容背后的深层语义信息，推动搜索、推荐、兴趣理解等核心业务的智能化升级。 主要负责的工作有： 1. 多模态高级语义理解：针对视频、图文、商品等内容，开展主题生成、脚本生成、知识抽取、种草意图识别等高级语义理解任务，构建动态可演进的语义Schema体系； 2. 动态语义Schema构建：设计并实现可扩展、可解释的动态语义结构，支持跨模态、跨场景的语义对齐与推理，提升内容理解的深度与泛化能力； 3. 多模态大模型（MLLM）应用与优化：基于多模态大模型进行相关性判断、意图识别、文本生成等任务的微调、蒸馏与推理优化； 4. 向量与语义检索系统：构建高精度、高效率的多模态向量检索系统，支持语义级内容匹配与召回，赋能搜索与推荐系统； 5. 生成式AI技术探索：结合MLLM能力，探索视频脚本理解、种草意图理解、内容摘要生成、AI搜索等生成式应用场景； 6. 跨模态对齐与融合：研究文本、图像、视频、音频等多模态信息的深度融合机制，提升跨模态语义一致性与理解准确率。 推动平台内容理解能力从“看得见”到“看得懂”的跃迁。
1、负责多模态 & 大模型在商品领域落地项目，涵盖商品内容理解&结构化/商品质量甄别/商品标题/图片生成/同款识别等任务。 2、负责商品检索相关的计算机视觉算法的创新和研究，包括但不限于：目标检测、图像分类、图像表征、图像校正与增强等相关算法研究。 3、负责商品知识库构建&知识标准化等工作。 4、负责跟踪业界前沿NLP&CV技术进展，寻找有价值的科研问题，开展前沿算法的研究工作，推进技术进步； 5、负责理解业务需求，进行针对性的研究算法，面向电商场景落地，发挥算法在实际应用中的价值。
1、负责大模型在商品领域落地项目，涵盖商品内容理解&结构化/商品质量甄别/商品标题&图片生成等任务。 2、负责商品检索相关的计算机视觉算法的创新和研究，包括但不限于：目标检测、图像分类、图像表征、图像校正与增强等相关算法研究。 3、负责商品知识库构建&知识标准化等工作。 4、探索 大模型 Agent 化应用，如商品发布智能回填、商家管控智能化，提升商品生态治理的自动化与智能化水平。 5、跟踪并应用 SFT、RLHF、LoRA、RAG ，RLHF等前沿技术，结合业务场景持续优化模型效果。
1、负责快手多媒体内容理解工作，应用计算机视觉、NLP、多模态融合等技术，提升短视频/直播内容体系建设、推荐、搜索的效果和体验； 2、负责快手多媒体相关的内容理解、语义理解的相关算法的研发，包括但不限于视频多分类、视频多标签、视频多模态embedding学习； 3、负责计算机多模态方向前沿问题的研究，参与建设并持续保持部门在多模态业界的技术先进性，保持创新的同时将业界SOTA模型持续优化并落地至线上获得收益。
营销算法团队作为淘天集团核心的算法团队之一，招聘岗位涵盖：搜索推荐算法，NLP，CV，大模型，因果推断和运筹优化等方向。解决从商品供给理解到前台搜推的全链路算法优化，服务业务包括淘宝首页宫格、百亿补贴、淘宝秒杀、淘宝大促、商品价格力等淘系核心业务。 岗位职责： 1. 构建业界领先的商品多模态理解体系： 负责利用大语言模型（LLM）及视觉语言模型（VLM）等前沿技术，对商品的多模态内容（文本标题、详情描述、图片、价格等）进行深度解析，完成高质量的内容提取、需求理解等核心任务。 2 负责大模型/多模态模型的前沿技术探索与落地： 跟踪并实践领域内前沿的模型和技术（如模型Fine-tuning, RAG, In-Context Learning, Agent, Model Distillation、LLM Time Series Forecasting等），结合业务场景进行技术选型、方案设计与模型优化，解决从训练到部署全链路的挑战，实现技术创新与业务效果的双赢。 3. 设计和优化算法架构与系统： 负责商品同款匹配系统的整体架构设计与持续迭代，保证系统的高性能、高可用和高扩展性，以应对淘天集团海量数据的挑战。 4. 驱动技术创新转化为业务价值： 深入理解业务，主动挖掘技术能创造价值的场景，与产品、工程团队紧密协作，通过严谨的AB实验验证算法效果，用技术力量持续驱动业务指标增长。