阿里巴巴电商多模态大模型及在商品理解的应用-Bravo Star
任职要求
1、在计算机视觉、自然语言处理、多模态理解、数据分析与挖掘方向有相关项目和产品经验，对其中某一领域算法有深入的研究和应用； 2、掌握机器学习和深度学习基础知识，熟悉Pytorch、Tensorflow等至少一种深度学习框架，熟悉常用的CV、NLP等主流网…
工作职责
我们是阿里巴巴国际数字商业集团-智能技术-商品基础数据算法团队，基于研发电商多模态预训练模型基座，通过多模态商品理解、商品同款匹配、商品属性&标签生产、知识图谱构建、图像搜索等核心技术的持续迭代，为平台沉淀高质量、结构化的商品数据资产和多模态大模型基座。主攻前沿方向：Continual Pre-Training/Post-Training 模型持续优化、SFT 监督微调与用户偏好对齐、RL 强化学习提升推理和决策能力、多模态（文本 + 图像）语义匹配。 1、负责研发电商多模态预训练模型基座，抽象并解决商品理解的基础问题使得模型具备业务通识能力，并构建针对大模型幻觉问题、推理能力、模型加速等关键问题的系统性解决方案，提高下游业务的迭代效率和效果上限； 2、基于多模态预训练大模型，设计和迭代 SFT+RL 训练方案，优化模型语义理解精度，落地商品理解关键场景任务，比如商品类目/属性/标签预测、商品同款、商品图搜等，负责关键场景的端到端全链路优化，实现业务指标提升； 3、学习前沿论文与把握技术趋势，深入理解底层算法原理，探索实验面向未来的硬核技术，实现核心技术突破和技术创新，发表相关论文。
ByteIntern：面向2027届毕业生（2026年9月-2027年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：抖音电商算法团队，依托抖音、今日头条、番茄小说、红果短剧等产品，帮助用户发现、讨论并获得好物，享受美好生活；帮助商家高效经营，创建良性商业生态；激励创作并分享购物经验使用心得，构建有真诚有信息的电商内容氛围。在这个团队，我们不仅要通过推荐、广告和搜索算法搭建消费者和商家之间的桥梁，也要通过风控算法和治理算法去甄别违规行为，保护用户的购物体验，保护真正诚信经营的商家；我们还要建设智能客服技术、大规模商品知识图谱来提升各个交易环节的效率，降低商家的经营成本；我们也要结合机器学习和运筹算法，来优化供应链和物流的效率和成本，并进一步提升用户物流体验；另外我们还会用业界先进的数据科学技术为业务健康发展保驾护航。我们的使命：用算法的能力，让用户总能发现好东西，让美好生活触手可得。 1、深入理解抖音电商正向导购与逆向治理业务，基于大模型、多模态技术，优化商家/达人准入、发品、导购等全场景识别效果，同步探索语言、视频、推荐多模态融合方案，构建更强推荐系统； 2、迭代优化电商多模态大模型，强化其对治理规则、商品信息的理解与推理反思能力，通过业务域SFT、Cot、强化学习等技术，打造高准高召的识别能力，提升导购与治理审核智能化水平； 3、参与挖掘电商直播、短视频、图文等多类实体数据，对大规模网络及海量特征序列建模，支撑商家/商品分类、逆向标签挖掘等场景，助力精准识别潜在购物信号； 4、研究用户多模态交互（视频+直播+文字+行为）的复杂性，搭建统一框架实现内容理解与用户意图推理，高效映射内容消费到电商兴趣，提升人货匹配效率； 5、参与构建大规模图存储与图学习平台，完善商家、商品、达人、内容的关系链路，打造电商实体通用表征能力，赋能多模态业务落地； 6、协助推进电商比价、供给生态等战略支持工作，运用前沿深度学习算法，搭建商家/达人成长预测模型，支撑冷启动、潜爆、智能营销等业务需求。
1、参与电商场景下文本、多模态相关模型能力建设，包括但不限于：基于开源/自研基座模型的多模态理解、品牌识别、商品类目识别、关键信息抽取、实体识别、文本分类、知识图谱构建等； 2、参与构建业内领先的内容安全、内容理解识别方法，探索前沿技术(如多模态理解、RAG、Agent、token压缩等)，并应用落地到电商业务场景中； 3、亿级数据规模下，探索内容理解信号用于改善电商用户体验，提升转化指标等。
1、团队依托千亿级视频内容和全球商品数据，探索NLP、CV、多模态大模型、Video LLM、Multimodal Embedding和SID、Multimodal Reasoning、Agent等技术在电商业务中的落地，支持商品库建设、商品同款识别、内容商品链接、价格比对、AIGC内容生成和生成式搜推技术演进等关键场景，我们的目标是通过多模态大模型和Agent技术，重新理解“卖什么、怎么卖、卖给谁”，重塑内容电商的业务想象力；参与全球商品库和内容理解体系建设，基于NLP、图像理解、多模态大模型等技术，对商品、视频、图文、商家、品牌等对象进行结构化理解和语义建模；负责商品同款、商品/商家/品牌消重、跨语言商品聚合等核心算法系统建设，解决海量数据下的多模态匹配、实时流式聚合、多粒度聚合和跨语言语义对齐问题； 2、负责电商比价、商品定价、价格监控和异常预警等算法能力建设，支持百亿补贴、价格竞争力分析、商品供给优化等重要业务场景，建设视频-商品、商品-商品、视频-视频等多模态语义链接能力，支持内容趋势理解、商品挖掘、AIGC内容生成和内容电商供给优化； 3、探索下一代生成式搜推模型的演进，通过视频、直播、商品、Query等多体裁的表征和SID建模，提升生成式搜推的效率和体验； 4、探索Agent在电商业务中的应用，包括比价Agent、商品分析Agent、内容AIGC Agent、商家运营Agent等方向，结合RAG、工具调用、规划推理、自动评估等能力，推动业务流程智能化，参与从数据到业务落地的全流程，包括数据构建、特征工程、模型训练、效果评估、线上部署、负面案例分析和持续迭代，并探索前沿技术在实际业务中的规模化落地。