飞猪旅行飞猪-多模态理解与生成算法负责人-杭州

1、负责人脸表情相关业务（情感计算/表情迁移/表情生成）的系统架构设计与工程实现，主导基于PyTorch/TensorFlow等框架的高性能服务开发； 2、优化表情算法在工程化落地中的性能表现，设计高吞吐、低延迟的表情处理系统，确保服务稳定性和实时处理能力； 3、深入理解计算机视觉和人脸表情相关算法原理，熟悉模型轻量化、量化及推理加速方案；

1、应对新的人机交互范式，在GenAI加持的泛智能终端的背景下，研发新一代多模态人机交互算法及新的核身方式。 2、方向一：Omni多模态交互方向，研发多模态实时视频交互的新一代AI核身方案，像人一样多种模态的信息（文本、图像、音频、视频）并以流式方式生成文本和自然语音响应。构建新一代的身份核验算法，打造易用安全便捷、高兼容性和高扩展性的身份核验方式。 3、方向二：语音交互方向，负责AI核身语音语义全双工交互研发和优化，建设面向未来的语音交互核身算法体系； 4、方向三：泛终端与具身交互方向，面向下一代人机交互范式，针对XR端/AI眼镜/AI手机/智能可穿戴设备/AI原生APP/具身智能等，建设语音交互核身、知识核身、虹膜核身等各类新核身能力。 5、方向四：异构数据对齐与理解，设计有效的解决以人为中心的图像、音频、视频、PPG、IMU、文字等多个模态语义对齐和模态融合方案，进一步完成定向感知、信息一致性及推理任务。 6、持续追踪新一代的人机交互范式下，包括各类大模型技术，各类新设备和新形势，追踪身份核验和数字身份方向新研究和风险动向，保持创新的同时将业界 SOTA模型持续优化并落地至线上获得收益。

团队介绍：Data-抖音团队，负责抖音APP的推荐算法、内容算法、对话算法及大数据工作，对接各场景业务（短视频，直播，图文，电商，社交，生态，投稿，消息，同城，生活服务，音乐，评论，内容理解&安全、智能对话等）。我们的工作涉及大规模推荐算法的优化、复杂约束的优化问题的解决、内容理解、LLM应用以及新业务方向探索、CV/NLP等多个学术领域的算法改进工作、对多种场景的推荐架构的设计和实现和对产品数据的复杂深入的分析工作。在这里，你可以深入钻研机器学习算法的改进和优化，探索工业界最领先的推荐系统架构和推荐大模型算法、可以通过使用最新的大模型等技术支持抖音的数字人、智能客服、AI工具等创新探索；可以通过对产品的深度理解和思考，将算法应用到业务中去；也可以通过对产品和内容生态的深度分析，影响产品未来的发展方向。 抖音作为全球领先的综合性内容平台，拥有庞大的用户群体和多元化的业务生态。在设计如此大规模的推荐系统时，面临社交网络复杂、电商用户兴趣跨域迁移困难、内容与用户冷启动样本稀疏、直播推荐多目标融合效能不足、兴趣重复密集探索不足等多重挑战。 具体表现为：用户社交网络规模达万亿级，传统图算法难以高效地建模动态社交行为与内容消费的耦合关系；用户从内容兴趣到电商兴趣的迁移依赖跨域多模态理解与动态映射，现有方法难以捕捉潜在电商转化信号；新内容和新低活用户冷启动阶段样本量少，传统协同过滤与内容推荐方法泛化能力弱；直播推荐需实时融合点击、互动、消费等多目标信号，但启发式规则难以平衡用户长期体验与短期价值；兴趣密集追打问题严重，新兴趣探索效率不高。 1、社交网络增强的跨域兴趣建模：结合图神经网络（GNN）与大语言模型（LLM），构建用户全生命周期行为图谱，融合社交关系、内容互动与电商行为，挖掘社交网络中的社团结构与跨域兴趣传播路径； 2、兴趣迁移与转化信号捕捉：通过跨域对比学习与对抗生成技术，构建内容兴趣到电商兴趣的隐式映射网络，结合强化学习动态调控探索与利用，兼顾推荐精准性与多样性； 3、多模态小样本冷启动优化：利用LLM的Few-shot推理能力，通过内容语义理解与外部知识增强，设计元学习框架实现新ID特征与泛化特征的联合表征，缓解冷启动数据稀疏问题； 4、多目标融合与长短期价值平衡：基于大模型的泛化能力与长上下文感知，统一建模直播多目标（点击、时长、打赏等）的分布偏差与动态权重，设计个性化融合策略，替代传统多阶段漏斗架构，提升实时推荐效率； 5、兴趣密集与兴趣探索：通过用户兴趣画像建模与强化学习技术，实时捕捉用户消费与兴趣变化，缓解兴趣密集问题，为用户探索新的兴趣。

团队介绍：Data-电商-智能客服团队负责抖音电商场景下的智能对话与问答技术的创新和研究工作，致力于打造客服领域内领先的智能对话机器人，帮助平台和商家高效、准确地解决用户问题提升用户体验，降低平台/商家运维成本，不断提升业务效果。主要工作方向包括： 1、围绕着电商客服这一应用场景，开展前沿算法研发，包括但不限于NLP，推荐预测，多模态等技术方向，同时重点跟进和探索LLM的实现与应用； 2、构建客服领域领先的智能对话机器人，与用户通过对话交互的形式来解决用户关于电商场景下的各类问题，使用包括但不限于意图理解、文本匹配、对话管理、文本挖掘、话术/文案生成等NLP技术，基于召回+排序的猜你想问、输入联想等推荐预测技术，以及图文内容识别与推荐等； 3、构建面向人工客服的智能辅助系统，协助客服更高效、准确地解决用户问题，包括方案/话术推荐与补全、智能摘要、答案润色等； 4、探索大模型技术在智能客服领域的落地，利用LLM构建新一代的生成式对话机器人与辅助系统，通过预训练、微调、强化学习等全链路的技术实践，实现对标人类客服的理解、生成、执行能力。