智能互联通义实验室-大模型高级工程师/算法专家-全模态方向
任职要求
1、硕士及以上学历，计算机、人工智能、数学等相关专业，3年以上大模型/多模态/跨模态相关的算法经验； 2、精通主流多模态大模型或大语言模型，主导或核心参与过全模态大模型项目优先；有行业落地案例（如AI视频通话、实时语音/视频理解）或相关开源项目经验者优化； 3、熟练掌握深度学习框架包…
工作职责
1、 主导/核心参与全模态大模型（文本、图像、视频、音频、3D等）的模型架构与核心算法设计、训练及优化，探索跨模态对齐、多模态融合和原生多模态等前沿技术创新； 2、 开发全模态大模型在具体场景中的应用落地（如实时AI视频通话等方向），将全模态大模型技术与业务需求结合，推动场景化落地； 3、 解决全模态大模型训练和推理的挑战性问题（如模态对齐、长序列建模、高效推理等），跟踪相关领域在学术界与工业界的最新进展等。
1、 主导/核心参与全模态大模型（文本、图像、视频、音频、3D等）的模型架构与核心算法设计、训练及优化，探索跨模态对齐、多模态融合和原生多模态等前沿技术创新； 2、 开发全模态大模型在具体场景中的应用落地（如实时AI视频通话等方向），将全模态大模型技术与业务需求结合，推动场景化落地； 3、 解决全模态大模型训练和推理的挑战性问题（如模态对齐、长序列建模、高效推理等），跟踪相关领域在学术界与工业界的最新进展等。
1.拟人SFT数据构建与策略设计 （1）负责面向超拟人语音交互场景的SFT数据方案设计，涵盖角色人设一致性、多轮对话逻辑、情感表达等维度，构建高质量对话语料。 （2）针对多模态交互、A陪伴等需求，设计角色扮演数据的标注规范，包括身份背景、经典台词、行为模式等细粒度标签。 （3）基于业务场景（如儿童教育、情感陪伴、游戏NPC、模拟面试等）设计符合角色设定的对话逻辑，提升用户交互沉浸感。 （4）建立SFT数据评估体系，针对人设一致性、意图识别准确率、对话流畅度等指标进行量化分析与迭代。 2.SFT数据在语音交互模型中的优化 （1）结合语音交互链路（ASR→LLM→TTS），通过SFT技术优化大模型的对话能力，重点提升上下文理解、情感响应准确度及多轮对话连贯性。 （2）探索角色扮演数据在语音Agent中的应用，例如通过Prompt工程控制对话风格、情绪倾向，实现个性化交互体验。 （3）协同声纹识别、情感计算等技术，构建语音-文本-用户画像对齐的数据集，支持个性化交互（如儿童声线识别、成人情感分析）。 （4）推动SFT数据在低延迟语音交互场景的落地，优化端到端响应效率（如实时打断、长上下文记忆等能力）。
1. 负责语音合成、语音识别、端到端语音交互大模型算法的基础研究和应用落地。 2. 参与语音合成与识别技术在业务场景落地，解决落地过程中的前沿问题，持续优化语音合成与识别核心技术效果。 3. 深入调研和关注音频/NLP/多模态/全模态等方向的前沿技术，持续探索语音技术的新能力和新应用。
1. 探索研究多模态理解、多模态生成、计算机视觉、自然语言处理、音频等前沿技术； 2. 参与研发多模态、全模态大模型等下一代人工智能核心技术，探索大规模/超大规模多模态理解与生成交织的基础模型，提升大模型能力； 3. 负责跟踪和研究多模态大模型前沿技术调研、落地、对业务进行优化。