logo of xiaohongshu

小红书Hi Lab-【Ace顶尖实习生】探索多模态大模型的通用能力增强和跨模态能力迁移

实习兼职大模型地点:北京 | 上海 | 杭州状态:招聘

任职要求


1、不限年级,本科及以上在读,计算机/人工智能/软件工程等相关专业优先;
2、优秀的代码能力、数据结构和基础算法功底,熟练掌握至少一门编程语言,包括但不限于Python等;
3、有LLM/MLLM等多模态理解技术背景,或大规模模型训练实际项目经验者优先;
4、在TPAMI/CVPR/NeurIPS/ICCV/ICML/ICLR等顶级期刊会议上发表相关论文者优先;
5、良好的沟通协作能力,责任心强,积极主动,能和团队一起探索新技术,推进技术进步。

工作职责


本课题的研究目标是:
1、研究如何充分用好文本、图片、视频等各个模态的有效信息,进行高效的多模态数据表征和联合建模,能够更加高效的从各个模态中学习有效信息;
2、探索多模数据如何才能更高效的学习,多模数据如何对文本智能能力有提升,探索理解和生成的联合建模如何进一步提高多模态模型的能力上限。
包括英文材料
数据结构+
算法+
Python+
大模型+
CVPR+
NeurIPS+
ICCV+
ICML+
相关职位

logo of xiaohongshu
实习大模型

尽管当前的多模态大模型(融合视觉、语音、文本)已展现出强大的感知与理解潜力,但是在实时交互场景中,由于模型设计导致的高延迟、生硬的轮次状态、频繁的打断或被打断严重影响信息传递效率。同时多个模态无法实时融合也限制了多模态模型在语音交互场景下的深度应用。生成的交互内容有时显得冗长、缺乏提炼或智能不足,这些问题限制了用户与大模型实时交流的体验。 本课题的目标是设计并验证一种全模态实时交互的大模型架构,将视觉模态、语音流模态、思考模态信息以及 SOTA LLM 进行实时融合。从而使得大模型可以与人进行即时、流畅、且深入浅出、富有智慧的多模态自然语音对话。

更新于 2025-09-06
logo of xiaohongshu
实习大模型

本课题的研究目标是研发更高效的预训练scaling效率,通过数据策略、模型结构设计(Dense, MoE, Long Context等)、初始化&优化器策略、学习范式的创新,深度理解模型的学习机制和评估方法,能够更精准的预测模型行为,并持续提升模型预训练从算力&数据到智能的转化效率。

更新于 2025-08-22
logo of xiaohongshu
实习大模型

本课题的研究目标是研发面向复杂场景的可拓展大规模强化学习系统。 包括不限于: 1、超大规模Reward System构建; 2、面向复杂场景构建“策略与反馈一体化”的递归自我增强方法,解决“AI超越人类”时的可拓展监督问题; 3、面向长程任务探索人机合作博弈的强化学习机制,实现模型在超长程复杂任务上的需求明确、自我规划与执行校验能力;让AI从被动完成指令的工具转变为主动推动任务进展的的协作者,实现目标对齐; 4、强化学习进程中的大模型可解释性、可理解性。

更新于 2025-08-22
logo of xiaohongshu
实习大模型

本课题的研究目标是优化AI与人类的多模态交互体验,通过研发能够融合文本、视觉和语音等多种模态的自然交互机制,使AI系统能够通过理解图像内容、语音语调和情感等非文本信息增强交互效果。 研究将探索情境感知与个性化适应技术、多轮多模态交互中的意图理解与记忆保持能力,以及跨模态信息的整合与表达方式,使AI系统能够更好地理解用户通过不同感知通道传达的需求,提供视觉和语音层面的情感共鸣,并在长期多模态交互中不断适应用户偏好,实现更加流畅、高效且人性化的人机协作。

更新于 2025-08-22