通义研究型实习生-多语言多模态表征技术研究
任职要求
1. 候选人应为计算机及相关专业的博士或硕士研究生； 2. 熟练使用PyTorch框架进行深度学习模型训练与优化； 3. 拥有扎实的编程基础和出色的工…
工作职责
RAG是当前大语言模型实际应用中的核心技术之一。RAG链路中，Embedding和ReRank是两个关键模块。本项目主要面向多语言多模态表征技术方向的研究。研究课题主要包括: 1. 持续探索适配多语言文本、多模态表示及排序模型的最佳预训练架构、预训练方法和SFT策略； 2. 持续探索加速模型迭代效率的方案，例如大模型数据合成、模型融合策略等方案； 3. 探索多模态RAG、LLM驱动的新型搜索方案。
专注于多模态通用运动表征技术的研究，具体职责包括： 1、构建一个多模态大模型框架，能够对现有多媒体素材中运动信息进行学习，输出在特定类目/物品在指定环境下运动规律的个性化表征； 2、基于上述运动表征，能够恢复、迁移到指定类目及场景下的运动效果，生成对应的视频素材； 3、模型能够拓展到通用物体场景，包含刚性/非刚性物体、被动/主动运动物体、相机视角变化/主体运动； 4、负责算法研发过程中的数据构建工作。
【职位描述】 我们是小红书安全风控平台部/算法策略组/内容安全组，目前专注于多模态大模型在多模态理解和内容安全场景的技术落地和产品预研，目前在相关数据&技术方向有一定的积累，并将长期持续投入。我们希望寻求优秀在读硕士生/博士生共同突破大模型在安全审核行业落地的技术挑战，作为实习生，你将有机会与产品、工程紧密合作，将研究算法应用到实际问题中，并解决有难度有价值的问题，促进领域前沿技术的发展。欢迎投递简历。该岗位的核心研究方向包括但不限于： 1. 基础多模态表征：主要研究小红书多模态数据（笔记）下的基础多模态表征工作，包括层次化表征、特征融合、自监督探索等，作为基础模型，支持多样化检索场景。 2. 通用多模态大模型：通用多模态大模型在安全领域理解相关研究，包括高效微调、多模态理解等。建立安全多模态基础模型。
1. 掌握和跟进LLM、MLLM、aigc等前沿技术的发展动态； 2. 结合业务需求，深入研究aigc细节生成技术，构建攻防算法系统； 3. 结合业务需求，探索细粒度多模态表征技术，以及局部检索技术； 4. 结合以上方向的探索和研究，撰写发表论文，和业界、学术界保持良好的交流。
1. 掌握和跟进LLM、MLLM、多模态基座等前沿技术的发展动态； 2. 结合业务需求，深入研究多模态意图定位技术，比如visual/text意图实现商品/卖点信息定位，赋能业务内容/商品理解； 3. 结合业务需求，结合最新的大模型技术，探索更强的多模态语义表征，构建更强检索能力； 4. 结合以上方向的探索和研究，撰写发表论文，和业界、学术界保持良好的交流。