阿里巴巴淘天算法技术-多模态内容理解算法专家-杭州
任职要求
1. 计算机、人工智能、模式识别等相关专业硕士及以上学历，4年及以上相关工作经验。 2. 具备以下一个或多个领域的深厚积累： a. 大模型（LLM）： 熟悉主流大语言模型的原理，在Prompt Engineering、Fine-tuning、RAG、Agent等方向有深入的实践经验，主导过基于LLM的信息抽取、文本生成、语义理解等项目。 b. 多模态大模型（VLM）： 熟悉主流多模态大模型的原理和应用，有丰富的图文匹配、跨模态生成、VQA、视觉内容理解等项…
工作职责
岗位职责： 1. 构建业界领先的商品多模态理解体系： 负责利用大语言模型（LLM）及视觉语言模型（VLM）等前沿技术，对商品的多模态内容（文本标题、详情描述、图片、价格等）进行深度解析，完成高质量的内容提取、需求理解等核心任务。 2 负责大模型/多模态模型的前沿技术探索与落地： 跟踪并实践领域内前沿的模型和技术（如模型Fine-tuning, RAG, In-Context Learning, Agent, Model Distillation、LLM Time Series Forecasting等），结合业务场景进行技术选型、方案设计与模型优化，解决从训练到部署全链路的挑战，实现技术创新与业务效果的双赢。 3. 设计和优化算法架构与系统： 负责商品同款匹配系统的整体架构设计与持续迭代，保证系统的高性能、高可用和高扩展性，以应对淘天集团海量数据的挑战。 4. 驱动技术创新转化为业务价值： 深入理解业务，主动挖掘技术能创造价值的场景，与产品、工程团队紧密协作，通过严谨的AB实验验证算法效果，用技术力量持续驱动业务指标增长。
1、根据内容安全、广告法、业务质量等要求，结合广告业务特性进行风险分析，设计适配业务发展要求的解决方案并推动落地； 2、基于业务海量图、文、音、视等内容，和用户行为、关系等数据，结合多模态内容理解认知，研发综合解决方案，解决实际业务问题； 3、保障业务运行过程中风险内容理解功能的稳定运行，并能设计体系化的响应、迭代、升级方案，保证方案全生命周期的稳定性； 4、拥抱当前AI发展前沿，探索多模态大模型技术，通过研发领域大模型、AI Agent、Copilot等技术，推动大模型在业务上的应用落地。
1. 参与前沿AI技术探索与行业级产品落地的双轨发展战略，与顶尖团队协作攻克多模态理解与生成智能体系统的技术挑战，推动多模态RAG与智能体技术的产品化落地； 2. 设计并实现融合文本、图像、语音、视频等多模态数据的检索增强生成系统，优化跨模态语义对齐与知识检索能力； 3. 设计基于多模态大模型的智能体核心算法，实现任务规划、意图识别、工具调用及多智能体协作系统。
团队介绍： 我们是支付宝供给理解团队，长期深耕计算机视觉（CV）、自然语言处理（NLP）、多模态大模型人工智能领域，专注于短视频、商品、服务等供给的结构化理解。利用大模型技术，通过供给的智能化理解，赋能搜索/广告/推荐业务效率的提升。如果你对大模型、多模态技术充满热情，并希望在真实业务场景中推动技术创新落地，欢迎加入我们！ 职位描述 1. 改进并实践多模态大模型理解技术，构建数十亿供给的理解标签/Embedding/SenmanticID等其他特征，应用到支付宝搜索/短视频推荐/商品推荐等各业务场景 2. 基于CV/NLP/Audio/多模态技术，通过结构化的理解体系设计，实现支付宝全域供给的语义对齐，支持全用用户行为建模。 3. 跟踪探索大模型前沿技术Pretrain、SFT、RAG、AI Agent、强化学习、模型蒸馏等，结合业务场景进行技术选型、方案设计，实现技术价值与业务效果的双重突破。
在蚂蚁数字化战略发展进程中，内容和电商作为重要业务支柱持续发展壮大，同时也衍生出刷量、刷榜、刷粉、刷赞、刷评论、内容低劣、黄牛、众包、盗版、侵权等内容作弊、流量作弊、营销套利、知识产权风险形态。内容和电商风险管理团队需要和业务团队紧密合作，结合业务特点，设计短视频、直播、电商业务风险解决方案，提高智能化程度，保障业务可持续高质量发展。 1.风险模型研发和运维：基于内容消费、内容交互、操作行为、资金、商品、商家、关系等海量业务数据，挖掘核心风险特征，横向拉通开发内容作弊、流量作弊、营销套利、知识产权等风险识别算法，提高算法召回率和准确率，升级风控策略智能化程度。 2.风险分类分级治理：和业务紧密合作，深入思考和理解业务、风险、体验之间的平衡，通过设计分类分级模型框架，制定有效管控方案，实现量化风险管控和定价，提高管控ROI，兼具解释性和数据科学。 3.大模型应用提效：熟悉前沿大模型方法，在风险评审、感知、定性、识别、人审等风险全链路落地应用，提高风控运营效率，降低人工审核和运营成本。