腾讯腾讯游戏-多模态大模型算法研究员-动作生成方向
任职要求
1.计算机、人工智能等相关专业硕士或博士学位，在深度学习领域有扎实的理论功底； 2.深入理解主流多模态融合架构（例如 Single-stream、Double-stream 等），能够针对不同模态特征进行灵活的 Transformer 模块设计； 3.熟悉端到端预训练、SFT、RL 微调等流程； 4.熟练使用 Python，熟练使用 PyTorch 框架； 5.具备 3D 骨骼动画或人体运动学（IK/…
工作职责
1.负责构建和优化面向动作生成的多模态大模型架构，探索文本、视觉信号、3D 动作序列等模态的深度融合与对齐； 2.负责研究多模态场景下，高维、连续3D动作数据的Tokenization 方法； 3.负责探索多模态动作大模型 Scaling Law，包括数据量、参数量级、计算量等，通过模型规模化提升生成能力； 4.负责探索多模态对齐大模型，支持语音、文本、动作等多模态对齐，未来进一步支持多模态实时输出； 5.负责探索任意角色动画生成，可对任意角色与骨架均能生成自然的动画； 6.负责探索、研发动捕精修大模型，可对动捕过程各类噪声自动去除，达到精修品质； 7.负责探索环境感知的交互动画生成，支持角色与物体、场景、其他角色的交互，确保生成交互动作的合理性。
1. 参与音频大模型的全流程研发，包括跨模态对齐、多模态理解及生成，涵盖文本和语音等训练数据的清洗和制作、基础模型算法选型与优化，聚焦预训练、监督微调及强化学习等关键环节的技术迭代； 2. 负责语音对话大模型的端到端效果优化，提高在远场、低信噪比、多人、音乐等场景下的理解及生成效果，改善模型在方言、副语言信息等方面的理解能力，加强情感对话能力； 3. 探索多模态模型的理解和生成范式，跟进业界新的多模态大模型结构，从模型效果优化及降低全链路处理延时等多个方面开展前沿性研究及落地工作。
1. 参与音频大模型的全流程研发，包括跨模态对齐、多模态理解及生成，涵盖文本和语音等训练数据的清洗和制作、基础模型算法选型与优化，聚焦预训练、监督微调及强化学习等关键环节的技术迭代； 2. 负责语音对话大模型的端到端效果优化，提高在远场、低信噪比、多人、音乐等场景下的理解及生成效果，改善模型在方言、副语言信息等方面的理解能力，加强情感对话能力； 3. 探索多模态模型的理解和生成范式，跟进业界新的多模态大模型结构，从模型效果优化及降低全链路处理延时等多个方面开展前沿性研究及落地工作。
参与微信大规模语言模型（WeLM）的建设，涵盖训练流程的多个环节 1.探索大规模预训练模型的结构创新、优化器策略创新，提升单位算力下的智能获取效率 2.探索更高效全面的预训练数据建设方案、预训练数据使用方案 3.建设通用 Long-Horizon LLM Agent 的训练策略 4.独立或与其他研究员合作进行前沿领域研究。
将围绕多模态（文本、图像、音频、视频）理解和生成统一的基座大模型的数据、模型结构、统一建模方式、训练与推理优化、深度推理等核心问题展开研究，具体研究内容包括： 1、多模态（文本、图像、音频、视频）数据的收集、合成及数据策略，提升质量、多样性、可扩展性； 2、 探索多模态理解与生成统一的建模方式； 3、多模态模型的模型结构的设计与优化，高效的大规模分布式训练和推理系统（云侧和端侧）； 4、 研究多模态模型的深度推理范式。