通义研究型实习生-多模态生成模型训练推理优化
任职要求
1. 掌握机器学习和深度学习基础知识，熟悉常用视觉生成算法，熟悉Pytorch、Tensorflow等至少一种深度学习框架。 2. 极佳的工程实现能力，熟练掌握C/…
工作职责
1. 重点研究生成大模型的训练和推理效率问题。 2. 研究各种蒸馏加速算法，包括CFG蒸馏，推理步数蒸馏等。 3. 研究各种Training-free推理加速算法，不限于cache、量化、采样优化等策略。 4. 研究生成模型的高效训练架构，包括但不限于sparse/linear attention、时空独立建模、超分模块等策略。
【课题说明】 外卖业务在国际市场上展现出前所未有的增长潜力，全球化运营对智能化提出更高要求。本课题致力于运用大模型技术，结合后训练、多模态、强化学习等手段，打造覆盖智能客服、智能审核、智能外呼的下一代全球服务系统，核心在于高效完成跨文化背景下的复杂任务。 【建议研究方向】 1.任务型对话的强化学习与后训练：研究如何结合强化学习激励与高效后训练方法，使大模型能精准理解并高效完成全球用户、商家及骑手提出的多模态复杂服务任务。 2.少样本多模态理解与推理：探索在数据相对稀疏的海外市场中，如何构建强大的多模态大模型，以支持对用户、骑手、商家上传图文的高效合规审核与风险识别。 3.外呼场景下的可控对话：研究通过可控生成技术并有效融入领域知识，提升大模型在招聘、商家/骑手沟通等多语言智能外呼任务中对话的自然度、信息准确性与目标达成率。
团队介绍：团队聚焦多模态模型、大语言模型、扩散模型的基础研究和前沿探索，可提供充足显卡资源和专业技术指导。 岗位描述： 1. 多模态模型和扩散模型的研究，包含但不限于文本、图像的跨模态对齐和AIGC内容生成； 2. 大语言模型的前沿探索，包括但不限于SFT和RLHF算法、CoT、Hallucination、Agent等领域的探索与研究； 3. 大模型的效率研究，包括但不限于大模型的量化、蒸馏、训练与推理加速。
研究领域： 人工智能 项目简介： 大语言模型(LLM)和多模态大模型(MMLM)的发展为推荐系统带来了新的生机。相较于传统推荐模型依赖协同过滤信息进行建模，大语言模型因其强大的泛化和推理能力，可以更好地对物品、内容进行关联、分析用户行为和偏好，从而具备处理复杂场景中复杂用户行为的潜力。但同时，虽然大语言模型在理解和生成自然语言方面表现出色，但它们在处理推荐系统中数据稀疏、特征异构、训练和部署效率等方面仍存在众多挑战。本项目旨在对传统推荐模型、大语言模型甚至多模态大模型进行联合建模，以期取长补短，更有效地利用多模态异构信息，从而进一步提升推荐模型表现。 主要的挑战包括但不限于： 1. 大语言模型的编码效率问题：LLM的训练及推理成本随编码的信息量增加而快速膨胀，如何高效地对长用户行为序列进行多模态编码是联合建模相关探索的基础问题。 2. 多模态信息融合问题：物品、内容存在大量不同模态且异构的信息，如何有效地对多模态信息进行融合，是保障联合建模效果的重要问题。 3. 联合建模的模态差异化优化问题：不同模态在拟合速度、信息权重等方面存在天然差异，如何在联合建模过程中平衡和调节不同模块的优化是联合建模的难点。
研究领域： 人工智能 项目简介： 内生安全是近年来大语言模型研发中的一个关键研究方向。随着模型能力的快速增长，特别是推理模型，通过慢思考LongCoT的方式极大的提升了能力达到专家水平，然而强大能力也带来了潜在的安全风险。内生安全的目标是通过设计模型架构、推理机制或训练流程，使得模型在底层逻辑中具备一致性、自我审查和误差控制的能力，从本质上降低安全隐患，而不是简单依赖筛查和围栏过滤。 对于推理模型的内生安全而言，其主要难点在于 1. 可解释性不足，缺乏启发式策略和理论的结合。没有对推理模型有专门的内生安全性质的定义，形成数学的框架 2. 对抗能力缺失。由于模型较新且运行成本大，目前已有的jailbreak方法依赖大量试错的尝试，很难形成有效的攻防相互促进 3. 动态推理过程的监督。由于推理模型将思考过程进行展示，以往工作只关注在最后模型回复阶段，忽略了推理过程可能包含的风险 因此，可以再一下方向进行相关研究 1. 安全高效评估框架：针对推理模型研发专门的red team方法进行内生安全评估 2. 对抗训练：提出高效的对抗方法，通过posttrain方式提升内生安全 3. 内生安全奖励：在GRPO过程中，除了回复的helpful，也考虑harmless 4. 多模态场景下的推理安全：对图文视频音频等多模态输入，均在思考过程中进行安全检查等