通义研究型实习生-大模型个性化回复
任职要求
1.计算机视觉、自然语言处理、人工智能等专业优秀在读硕士或博士； 2.熟练掌握tensorflow、pytorch等至少一种主流深度学习框架，有复杂模型设计和建模经验； 3.具备出色的学术研究和数据分析能力，有高质量学术论文、高影响力开源项目、高水平竞赛获奖经验者优先； 4.良好的自我学习能力及自驱力，对前沿领域有强探索欲，富有想象力和创造力。
工作职责
随着大语言模型（如ChatGPT等）的广泛应用，各行业对个性化回复的需求日益增长。个性化回复不仅能提升用户体验，还能增强模型在特定领域的实用性和准确性，但个性化回复的实用性和效果仍存在优化空间。本课题旨在探讨如何利用大语言模型实现个性化回复，满足不同行业及用户的特定需求。通过对用户输入上下文和历史对话的深度分析，模型将能够生成更具针对性和相关性的回复，从而提高用户满意度和互动有效性，我们希望在大模型个性化回复的研究中解决以下技术问题： 1. 用户行为数据的挖掘与建模：研究如何有效地收集和分析用户的历史交互记录、偏好设置等信息，以实现更精准的个性化推荐和回复策略。 2. 多轮对话的上下文理解：提高模型在多轮对话中对于上下文信息的理解能力，确保模型能够根据先前的对话内容生成更连贯、相关的回应。 3. 情感分析与情感适应：探索如何利用情感识别技术，使模型能够根据用户的情绪状态调整回复的语气和内容，以提升用户的满意度和对话的自然性。 4. 实时反馈机制：研究如何快速获取用户对模型回复的反馈，并将其融入模型的学习过程中，从而在交互中不断优化个性化表现。 5. 多模态的能力：扩展模型的感知方式，在文本模态的基础上，支持图像、音频等多种模态，从跨模态数据中抽取用户的兴趣，提升用户体验。
当前大模型（LLMs/MLLMs）在长对话和复杂任务链中面临上下文窗口限制和遗忘问题。尽管扩大上下文长度有所帮助，但其计算和推理成本高昂，且难以实现真正意义上的终身学习和经验累积。另一方面，现有模型在交互中往往缺乏个性化的体验，无法有效地捕捉、存储和召回与特定用户、特定场景相关的多模态经验。为了使大模型具备像人类一样从持续交互中学习、积累和灵活调度的能力，并实现从通用助手到私人智能伙伴的跃升，亟需构建一个高效、多层次、时间敏感的多模态记忆系统。这不仅能突破输入长度限制，还能通过跨模态信息的整合和知识的结构化，大幅提升模型在复杂场景下的鲁棒性、泛化能力和自我进化能力。 大模型多模态记忆增强研究项目，团队在多个方向上进行探索，若你对以下一个或多个课题感兴趣均欢迎投递： 1. 多层次记忆的构建与管理 2. 多模态记忆的嵌入与召回 3. 时间敏感的记忆调度策略 4. 记忆智能体（Memory Agent）的构建
1. 跟进多模态大模型（vLLM）预训练、SFT、RLHF等技术，调研与跟进最新进展；负责多模态相关性大模型、多模态大模型稀疏检索和稠密模型，多模态大模型个性化预训练方向，以及多模态大语言模型的训练和推理加速； 2. 多模态大模型个性化预训练：研发个性化预训练模型，探索在训练样本、模型参数量等维度上scale-up能带来的收益，研究在电商搜索场景下, CTR和CVR 模型中用户动线特征的挖掘和应用，包括用户行为模型的获取、特征设计、结构优化等个性化建模； 3. 多模态大模型的训练和推理加速：协助研究和开发多模态大语言模型的加速技术，包括但不限于量化、剪枝和蒸馏，以及数据特征和调度优化；实现和优化多模态大模型推理框架，以提高推理速度和效率；与工程团队合作，解决机器学习模型在部署过程中的性能问题； 4. 多模态大模型相关性模型：研发基于多模态大模型的相关性标注和评测大模型，应用到体验实验评测、体验监控、离线数据标注、线上相关性判断等方向； 5.多模态大模型稀疏检索和稠密模型：研究方向包括不限于：电商词表生成、多模态稀疏词表和稠密表征技术、LLMs幻觉缓解等问题。
研究领域： 自然语言处理 项目简介： 随着大语言模型在各行业中的广泛应用，如何通过高效微调技术使模型快速适配不同业务场景，并通过偏好对齐技术满足用户个性化需求，成为了研究的热点。传统的微调方法通常资源消耗大且对小样本任务的适应能力有限，而偏好对齐在处理复杂用户行为或决策任务时也存在优化空间。本课题聚焦高效微调和偏好对齐技术的创新研究，旨在降低模型微调成本，提高用户需求的满足能力，推动大语言模型在实际业务中的应用价值最大化。
1. 通过研究慢思考、multi-agent协作、大小模型协同等方法提升个性化Agent复杂任务拆解、tool调用、记忆等机制能力； 2. 通过RLHF等反馈增强技术，提升个性化大模型的风格化、复杂指令遵循等Alignment能力； 3. 研究个性化多模态对话、角色生成技术，提升多模态场景下的个性化理解和生成能力； 4. 研究多模态基础大模型基础技术，提升多模态细粒度理解、感知能力，解决多模态场景下的知识幻觉、多图in-context能力等。