蚂蚁金服研究型实习生-多模态大模型轻量化

1.多模态大模型应用研发：基于多模态大模型（MLLM）强大的世界知识与推理能力，研发复杂场景下的主体识别算法，精准定位视频/图文中的核心主体（如开箱商品、主推款），解决遮挡、多实例干扰等难题。 2.细粒度语义对齐与表征学习： 构建统一的多模态表征空间，负责封面、视频、商品图文之间的细粒度语义对齐，提升跨模态检索与粗筛的召回率。 3.判别模型设计： 设计具备“Thinking with Images”能力的判别式大模型，实现对“挂错品”、“封面党”等高阶语义偏差的精细化验证，并探索模型的可解释性（输出决策依据）。 4.模型蒸馏与落地： 参与大模型到轻量化小模型的知识蒸馏（Model Distillation）工作，设计表征-判别联合蒸馏框架，在保障算法精度的同时满足线上业务的高吞吐与低延时需求。 5.前沿技术探索： 跟踪CV、NLP及多模态领域的SOTA技术，结合业务场景进行创新，有机会将成果发表在CVPR、ICCV、ECCV等顶级会议上。

我们正在寻找对通用具身智能前沿研究充满热情的实习生，参与构建下一代多任务、多场景统一的具身基础大模型。本项目聚焦三大核心挑战：跨任务泛化的通用能力建模、仿真到现实（Sim2Real）的迁移鸿沟弥合、以及大规模高质量具身交互数据的自动化构建与评测。 你将深度参与以下关键方向： 1. 研发支持视觉-语言-动作（VLA）统一建模的具身基础大模型，实现零样本/少样本下的跨任务感知、理解与决策； 2. 构建高保真机器人仿真平台与世界模型（World Modeling）渲染系统，提升仿真环境的真实性与动态交互能力，缩小 Sim2Real 差距； 3. 构建大规模具身交互数据集，融合真实采集与基于世界模型的自动化生成，并配套建立标准化、可扩展的自动化评测体系； 4. 设计轻量化推理算法与部署框架，将大模型高效运行于真实机器人硬件（如 Franka、UR、Stretch 等），完成闭环验证与迭代优化。 优秀成果可形成专利/论文，或发布开源社区

1. 探索基于大模型的语音双工交互系统关键技术，包括流式语音理解、增量文本生成、打断检测与恢复等； 2. 参与端侧轻量化语音大模型的研发，开展模型压缩（剪枝/量化/蒸馏）、硬件感知优化与高效推理引擎实现； 3. 参与设计并实现端云任务动态协同调度机制，基于网络状态、用户意图、隐私敏感度等多维上下文，智能分配计算负载，实现性能与隐私的最优平衡； 4. 参与构建支持跨端云一致性的多轮对话状态管理框架，确保长上下文语义连贯性与用户记忆的无缝衔接； 5. 参与建立面向真实场景的端云融合语音系统综合评估体系，从延迟、功耗、准确率、鲁棒性到隐私合规性等维度开展系统级测试与优化。

【职位描述】 我们是小红书安全风控平台部/算法策略组/内容安全组，目前专注于多模态大模型在多模态理解和内容安全场景的技术落地和产品预研，目前在相关数据&技术方向有一定的积累，并将长期持续投入。我们希望寻求优秀在读硕士生/博士生共同突破大模型在安全审核行业落地的技术挑战，作为实习生，你将有机会与产品、工程紧密合作，将研究算法应用到实际问题中，并解决有难度有价值的问题，促进领域前沿技术的发展。欢迎投递简历。该岗位的核心研究方向包括但不限于： 1. 基础多模态表征：主要研究小红书多模态数据（笔记）下的基础多模态表征工作，包括层次化表征、特征融合、自监督探索等，作为基础模型，支持多样化检索场景。 2. 通用多模态大模型：通用多模态大模型在安全领域理解相关研究，包括高效微调、多模态理解等。建立安全多模态基础模型。