腾讯游戏场景中AI Agent的研究与应用
参与构建游戏场景下的智能体(AI Agent)系统与多模态内容生成管线,推动交互体验和生产方式的变革。 包括不限于: 智能体与多模态算法创新与应用:研究并实践业界前沿算法,重点聚焦于智能体框架、多模态大模型、工作流构建。将这些技术应用于游戏场景,构建全新的研发体系和用户体验。 高性能模型优化与部署:运用模型量化、剪枝等优化技术,显著降低模型推理延迟与成本,确保AI能力能在游戏环境中高效、稳定地运行。探索分布式计算与硬件特性(如GPU/CPU芯片)的工程结合,突破新技术在复杂游戏场景中的应用边界。 智能体系统交付与整合:为游戏研发流程构建高效的智能体解决方案。完成基于多模态能力的完整技术链路构建及工程化封装,为游戏产品提供强大而可靠的技术支持。
1、研究LLM后训练算法,探索LLM Agent在游戏场景中的落地应用,包括在游戏设计、玩法以及研发管线中的应用等; 2、针对各应用场景,收集LLM后训练数据,制定数据流转pipeline,参与构建后训练数据飞轮; 3、研究LLM模型的后训练策略,使用强化学习等技术提升LLM Agent的性能,参与游戏领域LLM模型的调优、训练和迭代,推动LLM在游戏场景中的技术突破; 4、与游戏制作管线中的其他团队紧密合作,打造新的AI游戏开发流程,创造次世代游戏体验;与工程团队紧密合作,交付稳定可靠的LLM服务。
业务场景: 在开放世界游戏环境中,进行游戏内容理解与动态解说,驱动智能体完成指定任务、实现自主探索,并支持多智能体复杂交互等前沿AI应用场景。 岗位职责: 研究与开发: 负责开放世界游戏场景下基于大语言模型(LLM)及视觉语言模型(VLM)的智能体(Agent)技术研究与开发,涵盖Prompt工程、上下文学习(ICL)、检索增强生成(RAG)、监督微调(SFT)、强化微调(RFT)等关键技术。 框架与工具链构建: 主导游戏智能体核心框架的设计与实现,推动训练数据合成、自动化评测体系及相关算法的研发。 工业化落地: 推动游戏智能体技术在游戏内容生产与玩家消费场景的工业化部署与产品化落地,实现技术价值转化。
通义千问(Qwen)是由通义实验室自主研发的超大规模语言模型,具备跨语言、跨任务的理解与生成能力。Qwen系列模型,涵盖参数量从几百 M 到 T 级的基座大语言模型,并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder等系列模型。从多轮对话到代码生成,从逻辑推理到内容创作,从单一多模态到全模态统一理解生成,Qwen 正在打造全球领先的全模态模型技术体系,推动AI在企业服务、开发者生态、个人用户等领域的深度应用,引领下一代人工智能的发展。 视觉语言理解能力是Qwen最重要的能力之一,围绕 LLM 建设出具有视觉深度理解与推理能力的基座模型是团队的必经之路。结合视觉理解和推理能力的基础模型,将拓展到视频理解,GUI Agent,以及VLA 和机器人等场景中。团队负责:1)多模态基础模型的研发,包括融合视觉语言的跨模态理解模型设计,提升视觉基础模型在图像/视频中的视觉知识、空间感知、Omni Parsing等核心能力,并优化多模态大模型AI infra;2)探索多模态Agent和推理能力,构建支持网络世界(PC/Mobile/Web/游戏)交互的通用智能体;3)研究生成与理解统一的模型架构,实现跨模态生成与推理的协同优化。 工作职责 1. 多模态Pre-training:开展研究及进行实验。研究内容包括:数据清洗与筛选、数据配比优化、课程学习、视觉语言模型结构设计与优化、训练策略优化、预训练数据合成、scaling law预测、词表优化、模型蒸馏与压缩、长上下文能力优化等。 2. 多模态Post-training:迭代Post-training训练策略(SFT/RLHF),专项能力数据迭代,参与模型能力评测及评测数据和评估标准的迭代。 3. 多模态推理和通用Agent:通过强化学习(RL)持续提升多模态模型推理能力和执行任务能力,打造多模态的Test Scaling Laws,并推动模型对网络和虚拟世界的交互和任务完成能力。 4. 统一理解生成:构建视觉统一理解生成大模型,推进多模态统一生成与理解的推理和交互新范式。