阿里云研究型实习生 - Lindorm海量多模数据平台技术研究
任职要求
1、功能完整的原型代码,相关技术经过验证,具备合入产品的要求,用Java / C ++等实现; 2、描述清晰的设计文档,包括验证的方法; 3、详细的产品性能、功能正确性、业务落地可行性等测试报告,具备明显的技术指标提升; 4、发表阿里认可的CCF-A类或者领域内顶级会议、期刊论文; 5、专利申请。
工作职责
Lindorm数据库的定位是AI时代的海量多模数据平台,目前Lindorm针对高并发在线、泛时序数据、搜索和AI几个主要业务场景提供了多模数据的存储、检索、分析与AI推理服务。如何实现针对多个不同业务场景下复杂各异数据模型的高效存储与处理,以及探索如何更好利用AI来对非结构化数据进行分析和理解,实现结构化数据与非结构化数据的融合处理,都存在巨大的挑战。如今AI技术发展迅速,我们希望能够进一步探索多模数据和AI结合的更多场景,将Lindorm数据库打造成AI应用的基础设施。 基于以上背景,本项目重点聚焦如下技术问题的研究: 1、探索如何在一个统一的数据库框架和底座下高效存储和处理包括宽表、时序、JSON、向量等复杂数据模型; 2、探索数据库如何更好地利用Data + AI来增强数据库分析和处理文本、图像、语音和视频等非结构化数据的能力,方便用户开发和部署AI应用,挖掘数据价值。
随着近些年机器学习与表征学习的发展,非结构化数据的查询和分析变得更加普遍。通过表征学习,我们可以把图片或文本嵌入到高维空间从而用高维向量来代表这些图片或文本。进一步的,通过在高维空间中查找最近邻,我们可以对非结构化数据进行语义搜索。例如,通过检索增强生成技术(RAG),我们可以将外部知识或领域知识进行向量化,利用向量空间中的近邻搜索得到对应的原始知识,对大语言模型的生成结果进行增强,来减少大模型出现幻觉或知识过时的现象。 为了提升数据库产品对AI应用的支持,阿里云瑶池数据库也全面提升了向量检索能力,在PolarDB、RDS、AnalyticDB、Lindorm、Tair等产品中集成了向量功能,实现结构化数据、半结构化数据、多模数据、向量数据的一体化处理。 然而,目前向量索引主要关注查询速度和准确率,对于实际复杂场景下的搜索问题还没有足够的研究。例如,分布式架构下的向量查询索引、结构化与非结构化数据的联合查询,以及数据动态增删场景下的索引优化等问题,都需要进一步探索和研究。
研究领域: 人工智能 项目简介: 实时语音交互在大模型应用落地中对于提升用户对话体验,提升用户留存(豆包app加入语音对话后留存率提升明显)具有重要作用;在AI硬件领域(AI眼镜、戒指等),实时语音交互是直接的、天然的交互方式,且对语音理解的准确率、语音生成的自然度、对话准确率、交互响应速度都有较高的要求
研究领域: 人工智能 项目简介: 在大模型的国际化应用落地过程中,要解决几个核心的问题: 1. 大模型对于小语种的支持:在蚂蚁国际化场景中,既有中英文这样的大规模使用的语言,也有东南亚,欧洲,非洲等各的确相对较小语种的实际需求,这些小语种的语料相对而言获取难度高,也导致了大模型在应用落地过程中会遇到许多困难,探索一条高效可行的道路来扩充大模型对于小语种的支持是在业务和技术上都有着突破意义的工作 2. 大模型对于体验的支持:在模型的使用过程中,探索更好的用户体验需要进行相当的投入来保持对于体验的关注和不断尝试,既包括通过推理模型来提升模型回复能力,也包括通过长思考能力来提升问题解决的思路完备性,也可以借助于大模型的代码生成等推理能力来生成交互式界面,或者通过多模态模型来进行包括视频在内的AIGC等,在应用过程中有很多细节需要结合大模型基座进行优化 3. 模型可信:在金融场景中,模型回复的准确性和安全性至关重要,结合业务场景进行探索模型的grounding,知识注入和幻觉消除等工作