通义研究型实习生-知识增强与推理能力增强研究
任职要求
1、NLP/ML/RL背景，在读研究生以上学历，有大模型优化经验，第一作者发表过顶级会议论文（ICLR/ICML/NeurIPS/ACL/EMNLP/NAACL等）； 2、扎实的算法能力，优良的编程风格，熟悉Python/C++语言，具备复杂系统的设计开发调试能力； 3、优良的沟通表达能力、团队合作意识和经验；具备快速学习的能力，以及深入钻研技术问题的耐心。
工作职责
大模型的知识能力和知识推理能力是基础模型重要的能力之一，拥有足够强大的基础知识能力能够更好地解决大模型在知识类问题上的问答、幻觉、推理、分析、推理甚至是规划反思能力。此外，对于实际应用层的agent落地更离不开基础模型的知识和推理能力，没有足够强大的基础知识和推理能力做支撑，则会在planning、拆解、工具调用等能力上出现大量幻觉，从而导致无法获取正确的结果。
随着数字化和信息技术的迅猛发展，音视频内容的生成和理解成为了研究的热点。传统的音视频处理方法往往依赖于特定领域的知识，难以实现跨领域的统一理解。近年来，深度学习和大模型技术的崛起为解决这一问题提供了新的思路。 尤其是如GPT-4o这样的先进语言模型，展现了在文本理解和生成上的强大能力。通过构建音视频数据的多模态大模型，可以实现对音视频内容的深入理解与高效生成。这样的模型不仅能够提升音视频内容的质量，还能增强用户体验，应用于娱乐、教育、医疗等多个领域。 此外，提升模型在音视频场景中的推理能力和交互性，能够实现更为智能的内容推荐与创作辅助。综上所述，围绕音视频统一理解生成大模型的研究，具有重要的理论意义和广泛的应用前景，为未来的数字内容创作奠定了坚实基础。 为实现音视频数据的多模态大模型，存在的挑战包括但不限于： 1、生成模型的可扩展性： 如何构建可扩展的生成模型，能够处理不同类型的音频和视频数据？例如，如何让模型适应不同的编码格式、采样率和分辨率？ 2、噪声鲁棒性： 如何提升模型对音频和视频噪声的鲁棒性？特别是在实际应用环境中，常常会遇到不同类型的噪声干扰。 3、跨模态的语义理解： 如何提高模型对跨模态内容的语义理解能力？包括如何在生成过程中保持音频与视频内容的一致性，以及如何避免模态间的误解。 4、实时处理能力： 如何优化模型以达到实时处理的能力，尤其是在需同时处理音频和视频流的应用场景中，如视频会议、直播等？
1. 结合知识图谱和LLM，构建一个AI系统解决现实世界里的复杂问题（如生成机器学习算法，数据分析，生成代码等等）； 2. 近期的研究方向包括并不限于： （1） 用于复杂问题求解的知识增强型大语言模型 （2）图基础模型 （3）基于代码图的代码生成 （4）用符号推理增强LLM的推理 3. 开展与其它相关领域/学科结合的交叉研究，拓宽知识图谱和LLM的应用范围； 4. 将相应成果以论文形式发表到顶尖学术会议/期刊，并与研发团队协作落地到实际场景
研究领域： 深度学习 项目简介： AI健康管家定位是全科三甲主任医师水平，确保健康管家问答的精准度与专业性是我们的核心追求。当前，我们正致力于对RAG（可检索增强生成模型）进行深度优化，主要聚焦于query planning、检索与生成等关键模块的独立改进。然而，构建一个能够针对不同复杂度query灵活响应的、模块化的rag系统，以及通过代理(agent)机制整合各模块以实现这一目标，尚处于初级阶段；同时，当前rag在利用知识图谱进行信息召回时，仅限于基础的1/2跳推理，这显然未能充分利用医疗领域丰富的文献与指南资源，这些资源能够为现有的图谱检索（graph rag）提供更深层次的融合与升级潜力。
研究领域： 自然语言处理 项目简介： 蚂蚁知识图谱平台经过多年金融领域业务的支撑，沉淀了基于属性图的语义框架——语义增强可编程框架 (Semantic-enhanced Programmable Graph, SPG)。它创造性地融合了 LPG 结构性与 RDF 语义性，既克服了 RDF/OWL 语义复杂无法工业落地的问题，又充分继承了 LPG 结构简单与大数据体系兼容的优势。基于SPG的图谱推理（SPG Reasoning）利用谓词语义和逻辑规则来定义知识之间的依赖和传递，并提供可编程的符号化表示，以方便机器理解，实现专家规则和模型的融合推理。本项目旨在对基于SPG的知识图谱存储及推理技术进行研究，包括但不限于符号推理与GNN模型融合、大模型+KG结合、大规模图存储和图匹配计算优化、图学习和深度学习训练和推理等技术研究，以及在工业场景的实用化。