京东端到端多模态交互算法工程师

1.负责跨平台(iOS/Android/Linux)、跨端(服务端+客户端)音视频交互SDK设计、开发与优化； 2.负责和各产品线合作，接入成熟的音视频交互相关处理算法，提升音视频交互在产品中的表现效果； 3.参与开发支持音视频交互相关业务落地和技术研发； 4.持续学习新编程技术、工业界学术界语音系统进展，精炼业务逻辑。

1、支持端到端语音多模态大模型技术在字节跳动公司内外丰富的业务场景落地，解决落地过程中的前沿问题，持续优化落地效果； 2、探索前沿的多模态技术，专注语音多模态大模型的前沿技术和算法效果，追求和探索业界最前沿算法，包括但不限于语言、音乐、语音、音频的生成与理解等； 3、深入调研和关注音频/NLP/多模态等方向的前沿技术。

1. 提升对话式语音交互体验：围绕支付宝生活助手等智能化场景，持续打磨语音流式全双工交互体验，提升垂类场景语音理解生成质量，建设更具“真人感”的语音交互； 2. 构建多模态交互算法能力：结合多模态感知与融合算法，设计音视频模态协同实时理解、交互决策、长时记忆等关键技术能力，实现系统“边看边想边说”并辅以丰富的表现力； 3. 提升多模态交互反馈质量：面向文本/语音/视频等模态，在语义内容准确性的基础上提升表达“真实感”和“真人感”，包括但不限于副语言信息、视觉画质/美学提升等； 4. 优化端到端耗时体验：面向多模态大模型的训练/微调/推理加速方法，包括但不限于模型训练效率提升、模型加速、端云协同等，将算法模型极致优化并推动落地。

负责研发虚拟数字人多模态交互算法，整合语音、文本、表情、肢体动作等多模态信息，实现自然流畅的人机交互； 持续优化多模态交互算法，提升数字人对复杂多模态输入的理解与处理能力，增强交互的精准性和实时性； 探索端到端的数字人多模态交互技术； 跟踪人工智能领域的前沿技术在虚拟数字人项目的应用和落地。