小红书Hi Lab-多模态基模算法工程师-生成理解统一
任职要求
1.良好的 pytorch / python 技术栈，具备熟练的阅读代码和编写代码的能力。 2.在多模态的研…
工作职责
在算力驱动的 AGI 和人文精神的烟火气交汇之处，我们真诚邀请对 AI 技术有信仰的同学加入，共同打造更具影响力的智能系统。你会成为团队的一员，并和其他同事协作，共同研发 SOTA 的智能技术。期待你以务实和客观的科学态度来推进技术的进展，不被过往经验裹挟、不被主观偏好影响。期待你除了算法外仍然是为出色的工程师。期待你对技术有强烈的好奇心和开放心态，以未来几年 AI 技术的质变突破为目标。 岗位说明：你会负责下述至少一件事情 1.海量的多模态数据处理：定性分析、定量评估数据质量，并给出 scalable 的改进方案，协助搭建多模态的数据流程； 2.搭建多模态的模型架构，在多种技术方案中找到 trade off 的关键，搭建更高效且可扩展的模型框架 3.研究并改进多模态模型的 Scale Law，随着模型的变化给出 Large Scale 上的技术选择（例如参数/数据比、不同超参数设置等）
开发研究多模态 LLM 驱动的智能体技术及其应用，包括但不限于： 提升 long context 场景下模型对复杂指令遵循能力； 提升模型的推理规划能力、工具（例如搜索等）使用、记忆管理能力等； 探索多智能体场景下的合作、辩论、对话等应用；
尽管当前的多模态大模型（融合视觉、语音、文本）已展现出强大的感知与理解潜力，但是在实时交互场景中，由于模型设计导致的高延迟、生硬的轮次状态、频繁的打断或被打断严重影响信息传递效率。同时多个模态无法实时融合也限制了多模态模型在语音交互场景下的深度应用。生成的交互内容有时显得冗长、缺乏提炼或智能不足，这些问题限制了用户与大模型实时交流的体验。 本课题的目标是设计并验证一种全模态实时交互的大模型架构，将视觉模态、语音流模态、思考模态信息以及 SOTA LLM 进行实时融合。从而使得大模型可以与人进行即时、流畅、且深入浅出、富有智慧的多模态自然语音对话。
利用强化学习方法对多模态大模型进行对齐： 解决优化现有多模态大模型 RLHF 中的训练效果、稳定性、Reward Hacking 等问题； 探索 RL 阶段 computaiton scaling 对模型能力提升的方法； 研究 Multi-Agent、Long-term Objective、Scalable Oversight 等方向下基于强化学习的对齐方法； 基于前沿方法对幻觉、推理、工具使用、安全等场景问题进行针对性优化，提升大模型的应用价值。
1.利用强化学习方法对多模态大模型进行对齐： 2.解决优化现有多模态大模型 RLHF 中的训练效果、稳定性、Reward Hacking 等问题； 3.探索 RL 阶段 computaiton scaling 对模型能力提升的方法； 4.研究 Multi-Agent、Long-term Objective、Scalable Oversight 等方向下基于强化学习的对齐方法； 5.基于前沿方法对幻觉、推理、工具使用、安全等场景问题进行针对性优化，提升大模型的应用价值。