阿里巴巴淘天算法技术-多模态内容理解算法专家（LLM/VLM）-杭州
任职要求
1. 计算机、人工智能、模式识别等相关专业硕士及以上学历，4年及以上相关工作经验。 2. 具备以下一个或多个领域的深厚积累： a. 大模型（LLM）： 熟悉主流大语言模型的原理，在Prompt Engineering、Fine-tuning、RAG、Agent等方向有深入的实践经验，主导过基于LLM的信息抽取、文本生成、语义理解等项目。 b. 多模态大模型（VLM）： 熟悉主流多模态大模型的原理和应用，有丰富的图文匹配、跨模态生成、VQA、视觉内容理解等项目经验。 c. 商品理解： 在电商领域，有深厚的商品属性体系构建、内容理解等相关经验，对电商商品数据有深刻洞察。 3. 具备…
工作职责
营销算法团队作为淘天集团核心的算法团队之一，招聘岗位涵盖：搜索推荐算法，NLP，CV，大模型，因果推断和运筹优化等方向。解决从商品供给理解到前台搜推的全链路算法优化，服务业务包括淘宝首页宫格、百亿补贴、淘宝秒杀、淘宝大促、商品价格力等淘系核心业务。 岗位职责： 1. 构建业界领先的商品多模态理解体系： 负责利用大语言模型（LLM）及视觉语言模型（VLM）等前沿技术，对商品的多模态内容（文本标题、详情描述、图片、价格等）进行深度解析，完成高质量的内容提取、需求理解等核心任务。 2 负责大模型/多模态模型的前沿技术探索与落地： 跟踪并实践领域内前沿的模型和技术（如模型Fine-tuning, RAG, In-Context Learning, Agent, Model Distillation、LLM Time Series Forecasting等），结合业务场景进行技术选型、方案设计与模型优化，解决从训练到部署全链路的挑战，实现技术创新与业务效果的双赢。 3. 设计和优化算法架构与系统： 负责商品同款匹配系统的整体架构设计与持续迭代，保证系统的高性能、高可用和高扩展性，以应对淘天集团海量数据的挑战。 4. 驱动技术创新转化为业务价值： 深入理解业务，主动挖掘技术能创造价值的场景，与产品、工程团队紧密协作，通过严谨的AB实验验证算法效果，用技术力量持续驱动业务指标增长。
商品基础算法团队是淘天集团核心的商品理解中台，负责对淘天全域（淘宝、天猫等）数百亿的商品进行深度、精准、多维度的内容理解。我们产出的商品认知能力（如属性、卖点、风格、品类、知识），是整个淘天搜索、推荐、广告、AIGC应用、智能导购、直播等所有核心业务的基石，直接决定了用户“逛”和“买”的体验，是连接“人”与“货”的智能引擎。 当前，我们正处在用新一代AI技术（大模型、多模态大模型）彻底重塑商品世界的历史机遇期。在这里，你将接触到全球最丰富、最复杂的电商多模态数据，有机会定义下一代商品理解的技术范式，你的工作成果将通过集团各大业务场景，影响亿万用户的消费决策。 岗位职责： 1. 构建业界领先的商品多模态理解体系： 负责利用大语言模型（LLM）及视觉语言模型（VLM）等前沿技术，对商品的多模态内容（文本标题、详情描述、图片、视频等）进行深度解析，完成高质量的标签抽取、卖点挖掘、风格识别、需求理解等核心任务。 2. 探索大模型背景下的下一代商品知识库的构建范式：如何从海量商品信息、用户评论、行业知识中自动化构建知识体系？如何解决知识的事实性问题？如何在庞大、有噪声的知识库中抽取有效知识，用于下游落地和应用 3. 负责大模型/多模态模型的前沿技术探索与落地： 跟踪并实践领域内前沿的模型和技术（如模型Fine-tuning, RAG, In-Context Learning, Agent, Model Distillation等），结合业务场景进行技术选型、方案设计与模型优化，解决从训练到部署全链路的挑战，实现技术创新与业务效果的双赢。 4. 设计和优化算法架构与系统： 负责商品理解算法系统的整体架构设计与持续迭代，保证系统的高性能、高可用和高扩展性，以应对淘天集团海量数据的挑战。 5. 驱动技术创新转化为业务价值： 深入理解业务，主动挖掘技术能创造价值的场景，与产品、工程团队紧密协作，通过严谨的AB实验验证算法效果，用技术力量持续驱动业务指标增长。
1. 大模型攻击研究 ● 针对大语言模型（LLM）、多模态模型（VLM）、智能体（Agent）等开展安全性与幻觉问题研究，系统化识别模型在对抗样本、越狱攻击、数据投毒、隐私泄露、注入、越权等方面的脆弱点； ● 设计并优化大模型对抗攻击算法，研究 Prompt 注入、自动化越狱策略与生成式数据增强方法，用于模拟实战攻击与安全性评估； ● 构建覆盖文本、图像、语音等多模态、agent场景的攻击方法库，支撑红队测试与模型安全基准建设。 2. 大模型防御机制 ● 研究大模型输入/输出层面的安全检测与防御机制，开发 Prompt 过滤、上下文改写、敏感内容抑制等方法； ● 构建跨模态、多层次的安全防护框架，提升 LLM/VLM/Agent 在实际应用中的鲁棒性。 3. 大模型安全对齐 ● 探索使用SFT、RL、MoE、RAG、Editing等对齐方法，提升模型的内生安全能力； ● 研究有害内容规避、幻觉抑制、安全对齐评测等关键技术，推动安全性融入模型全生命周期。 4. Agent 安全 ● 研究 Agent 在memory存储、多工具调用、链式推理中的攻击面与潜在风险，识别敏感数据泄露、工具滥用、意图篡改、海绵攻击等新型威胁； ● 设计 Agent 安全管控机制，包括权限控制、任务隔离、调用审计等，确保复杂场景下 Agent 的安全可控。
研究领域： 人工智能 项目简介： 内生安全是近年来大语言模型研发中的一个关键研究方向。随着模型能力的快速增长，特别是推理模型，通过慢思考LongCoT的方式极大的提升了能力达到专家水平，然而强大能力也带来了潜在的安全风险。内生安全的目标是通过设计模型架构、推理机制或训练流程，使得模型在底层逻辑中具备一致性、自我审查和误差控制的能力，从本质上降低安全隐患，而不是简单依赖筛查和围栏过滤。 对于推理模型的内生安全而言，其主要难点在于 1. 可解释性不足，缺乏启发式策略和理论的结合。没有对推理模型有专门的内生安全性质的定义，形成数学的框架 2. 对抗能力缺失。由于模型较新且运行成本大，目前已有的jailbreak方法依赖大量试错的尝试，很难形成有效的攻防相互促进 3. 动态推理过程的监督。由于推理模型将思考过程进行展示，以往工作只关注在最后模型回复阶段，忽略了推理过程可能包含的风险 因此，可以再一下方向进行相关研究 1. 安全高效评估框架：针对推理模型研发专门的red team方法进行内生安全评估 2. 对抗训练：提出高效的对抗方法，通过posttrain方式提升内生安全 3. 内生安全奖励：在GRPO过程中，除了回复的helpful，也考虑harmless 4. 多模态场景下的推理安全：对图文视频音频等多模态输入，均在思考过程中进行安全检查等
岗位描述： 全面负责夸克大模型在 Post-Training 能力进化和上限突破、持续推进模型能力边界和商业价值的不断延伸。通过对前沿算法的极致探索和高效能工程体系的构建，驱动模型在逻辑推理、问答、复杂多轮上下文、指令遵循、Agent 智能体、多模态交互等关键领域实现突破性进展，打造世界一流的模型效果，并定义其在未来 AI 应用中的核心价值。 工作职责： ● 【战略规划与技术引领】 制定并执行大模型 Post-training 的中长期技术路线图，预判并布局下一代对齐技术、能力增强及对齐方案。主导核心算法的战略方向，确保技术路径与公司业务战略高度协同。 ● 【核心能力与壁垒构建】 领导团队进行体系化的数据驱动实验，不仅局限于日常迭代，更要建立可规模化的能力提升范式。您将攻坚并解决模型在复杂指令遵循、通用问答、RAG、深度逻辑推理、内容创作、Tool-Using 等方面的瓶颈问题，构建技术壁垒。 ● 【前沿算法研究与创新】 深入探索并推动 Post-training 领域的前沿算法创新，包括但不限于 RLHF/RLAIF 的新范式、模型融合 (Model Fusion/Merge) 、模型蒸馏及 MoE 模型的高效对齐策略。您的目标是显著降低模型幻觉、提升推理的效果、加强模型复杂指令的遵循能力。 ● 【多模态与未来探索】 从统一多模态模型的战略视角出发，您将指导并规划多模态统一大模型的 Post-training 技术融合。探索并落地高效的多模态 SFT 数据构建、跨模态能力协同训练及对齐策略，确保模型在图文问答、视频对话 等复杂场景下实现无缝、精准的理解与生成。 ● 【团队领导与效能提升】 负责 Post-training 算法团队的组建、培养与管理，打造一支具备高效执行力和持续创新能力的顶尖团队。您将指导并优化从研究、实验、评测到部署的全链路工具链与工程框架，实现研发效能的倍增。