蚂蚁金服蚂蚁集团-多模态交互算法-ai核身
任职要求
1. 计算机科学、人工智能、自然语言处理、数据科学、机器学习等相关专业。 2. 具备Omni多模态大模型交互、语音语义双工交互、音视频对话等流式大模型交互及应用经验。具备各类眼镜/手机/耳机等泛终端智能硬件等交互算法研发以及虹膜、眼动、手势等各类交互经验。有多模态顶会(NeurIPS、CV…
工作职责
1、应对新的人机交互范式，在GenAI加持的泛智能终端的背景下，研发新一代多模态人机交互算法及新的核身方式。 2、方向一：Omni多模态交互方向，研发多模态实时视频交互的新一代AI核身方案，像人一样多种模态的信息（文本、图像、音频、视频）并以流式方式生成文本和自然语音响应。构建新一代的身份核验算法，打造易用安全便捷、高兼容性和高扩展性的身份核验方式。 3、方向二：语音交互方向，负责AI核身语音语义全双工交互研发和优化，建设面向未来的语音交互核身算法体系； 4、方向三：泛终端与具身交互方向，面向下一代人机交互范式，针对XR端/AI眼镜/AI手机/智能可穿戴设备/AI原生APP/具身智能等，建设语音交互核身、知识核身、虹膜核身等各类新核身能力。 5、方向四：异构数据对齐与理解，设计有效的解决以人为中心的图像、音频、视频、PPG、IMU、文字等多个模态语义对齐和模态融合方案，进一步完成定向感知、信息一致性及推理任务。 6、持续追踪新一代的人机交互范式下，包括各类大模型技术，各类新设备和新形势，追踪身份核验和数字身份方向新研究和风险动向，保持创新的同时将业界 SOTA模型持续优化并落地至线上获得收益。
1. 负责蚂蚁泛终端AI核身相关产品线（涵盖手机、车机、眼镜等智能硬件）的规划、具体迭代的设计和并协同相关团队进行落地，结合AI能力，拓展产品边界； 2. 为相关AI身份核验产品制定对应的安全保障措施； 3. 负责将产品相关能力与业务场景进行很好的衔接和落地，协同相关团队一起拿结果； 4. 从用户体验出发，通过数据分析和用户反馈，归纳总结产品优化调整方向，并实现对应的优化效果；
1. 支持十亿级支付宝用户的身份核验，通过计算机视觉、多模态、音视频、大模型等算法验证用户身份。负责亿级凭证的校验、识别、防伪等相关能力，解决数字生活中身份/关系/资质/行为可信验证和识别问题。 2. 持续追踪大模型、人机交互、核身行业发展前沿，能够主动设计更全面、体系化、适配的解决方案，解决业务问题，支撑业务的快速发展。 3. 良好的数据分析能力，定义问题，设计方案，解决问题的能力。有较强的逻辑思维和问题拆解能力，能够主动分析问题并归纳总结，发现问题并及时推动能力迭代。 4. 可选职责1: 负责AI核身对抗策略工作，建立算策一体的核身策略运营体系，通过智能化完成风险压降和体验的平衡。 5. 围绕业务设计AI产品及相关能力解决方案，完成能力拆解，协同各方团队完成整体方案交付，对线上线上结果跟踪与负责。 6. 可选职责2: 负责整体AI产品的运营和AI能力的运营，负责AI产品面向各业务线的打法设计，推动AI产品在全公司到生态场景全面落地；负责AI能力效果运营，产品化方式运营AI能力，做好定义&测试准出等各类动作。
1.参与SoC智能调度引擎开发，突破多核异构SoC能效瓶颈，实现设备续航提升20%-30%+； 2.研发基于AI预测模型的动态调度框架，完成CPU/NPU/GPU/DSP混合计算单元毫秒级资源切换与三维能效评估； 3.设计指令级功耗建模工具与自适应DVFS算法，提升典型用户场景10%+的能效提升； 4.深度协同澎湃芯片及小米全栈技术生态，覆盖手机/汽车/机器人等亿级设备，技术成果直通国际顶会转化通道。 【课题名称】 端侧高效整机性能&能效优化技术研究 【课题内容】 小米玄戒芯片能效优化与智能调度体系研究课题背景： 面对手机/汽车/机器人等多场景的极端能效需求，玄戒SoC芯片需突破多核异构的能效瓶颈，通过智能调度引擎与AI驱动的功耗建模技术，构建"芯片+系统+生态"的三维能效优化体系。结合澎湃系列芯片低功耗研发经验（硬件利润率≤5%原则）及AI实验室全栈技术积累，实现续航提升20%-30%+的行业领先能效比，技术成果直通国际顶会转化通道。 挑战： 1. SoC异构计算单元智能调度引擎开发 - 构建基于AI预测模型的动态调度框架，实现CPU/NPU/GPU/DSP混合计算单元的毫秒级资源切换与负载均衡。 - 设计多目标优化算法，在典型用户场景（如多模态交互、自动驾驶感知）中达成计算资源利用率与能效比的协同提升。 2. 指令级功耗建模与自适应能效调控 - 开发面向玄戒O1架构特征的指令级功耗建模工具链，建立微架构-指令-场景的三维能效评估体系。 - 研发自适应DVFS算法与异构缓存协同机制，确保在影像处理、边缘推理等典型场景下实现10%+能效增益。 3. 全栈技术生态协同优化 - 深度整合澎湃芯片家族（C1/G1/S1）的异构调度能力，构建覆盖MIUI系统、车载OS、机器人OS的统一能效优化方案。 - 设计可扩展的调度框架，支持手机/汽车/机器人等设备的差异化能效需求，推动技术方案在IEEE/ACM等顶会的成果转化。
负责研发虚拟数字人多模态交互算法，整合语音、文本、表情、肢体动作等多模态信息，实现自然流畅的人机交互； 持续优化多模态交互算法，提升数字人对复杂多模态输入的理解与处理能力，增强交互的精准性和实时性； 探索端到端的数字人多模态交互技术； 跟踪人工智能领域的前沿技术在虚拟数字人项目的应用和落地。