美团【北斗】多模态数字人算法研究员
校招全职核心本地商业-业务研发平台地点:北京状态:招聘
任职要求
【任职资格】 基本要求: 1.计算机科学、人工智能、电子信息等相关专业硕士及以上学历; 2.精通至少一种视频生成基座框架(如DiT、UNet-based Diffusion等),熟悉大模型后训练技术(SFT/RLHF等); 3.熟悉主流的视频生成加速技术(如模型并行、推理优化、流式生成架构); 4.熟悉SMPL/FLAME/ARKIT等人体/人脸表征建模,掌握多模态控制动作生成主流方法; 5.在CV/ML/MM方向顶级会议或期刊(CVPR、ICCV、ECCV、Neur…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
【愿景】 成为本地生活领域虚拟服务解决方案的头部玩家,打造AI驱动的下一代智能直播基础设施。 【你将参与】 1.以人为中心的视频生成研究与应用:负责基于扩散模型/Transformer架构的人物视频生成算法研发,重点攻克人体姿态可控性、外观保真度、时序连贯性等核心难题,目标实现业界领先的生成质量,在数字人直播场景落地应用。 2.流式视频生成/动作生成技术探索:设计并实现低延迟流式推理框架,探索Token级增量生成、因果注意力机制等前沿方向,构建端到端生成低延迟解决方案,支撑实时交互场景落地。 3.多模态驱动的动作生成:研究基于文本/音频/姿态等多模态信号控制的人体动作生成算法,涵盖全身动作、手势、表情及唇型驱动,实现高自然度、多样性的动作合成,并完成从研究到相应线上产品的闭环交付。 4.AI数字人算法落地与优化:主导数字人生成全链路开发和优化,包括模型迭代、训练加速、推理提速,推动数字人生成效果,保障线上服务稳定性。
包括英文材料
学历+
大模型+
https://www.youtube.com/watch?v=xZDB1naRUlk
You will build projects with LLMs that will enable you to create dynamic interfaces, interact with vast amounts of text data, and even empower LLMs with the capability to browse the internet for research papers.
https://www.youtube.com/watch?v=zjkBMFhNj_g
SFT+
https://cameronrwolfe.substack.com/p/understanding-and-using-supervised
Understanding how SFT works from the idea to a working implementation...
RLHF+
[英文] What is RLHF?
https://aws.amazon.com/what-is/reinforcement-learning-from-human-feedback/
Reinforcement learning from human feedback (RLHF) is a machine learning (ML) technique that uses human feedback to optimize ML models to self-learn more efficiently.
https://www.ibm.com/think/topics/rlhf
Reinforcement learning from human feedback (RLHF) is a machine learning technique in which a “reward model” is trained with direct human feedback, then used to optimize the performance of an artificial intelligence agent through reinforcement learning.
ARKit+
https://designcode.io/arkit-intro
Adding a virtual object into the real world using your device’s camera
https://www.youtube.com/watch?v=lamIxNozxv4
Get started with augmented reality apps using ARKit, RealityKit and SwiftUI!
CVPR+
https://cvpr.thecvf.com/
还有更多 •••