腾讯广告大模型推理基础技术研究

ByteIntern：面向2027届毕业生（2026年9月-2027年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：架构与工程团队负责为中国交易与广告产品和业务打造大规模、可扩展、高效和稳定的工程架构支撑。团队职责包括抖音、今日头条、番茄视频等各APP端的广告架构和工程、抖音商城架构、广告创意平台等。 加入我们，可以直面超大流量规模、复杂的业务逻辑，不断探索产品和技术的演进前沿，实现新技术趋势下的业务和架构转型。期待你来，一起打造高效、智能、可信赖、可持续发展的交易与广告产品，实现用户、客户和平台共赢！ 1、完成LLM训练/推理技术在广告大模型场景的研发、落地和调优，解决广告/推荐场景的大模型工程问题； 2、针对PyTorch、TensorFlow等框架提供高自动化、极致性能的模型优化方案； 3、推动基于大模型开源组件构建，设计和实现新一代推荐系统架构，支持推荐大模型在业务落地； 4、与算法团队Co-Design，推动端到端生成式推荐技术创新的预研和落地。

【愿景】 我们致力于构建健康的本地商业生态，通过为平台客户和消费者提供符合其需求的多元、便捷、高效的商业产品和服务，帮助生态伙伴提高效率、优化经营、实现持续健康发展，推动本地商业数字化营销的发展，促进商业生态繁荣。 【你将参与】 1.生成式广告训练系统设计：基于前沿大模型（如Transformer、HSTU等），设计生成式推荐模型的分布式训练框架，优化数据/模型的高效并行处理和混合精度训练策略。 2.高性能推理引擎建设：既有大稀疏（Embedding），又有大稠密（LLM）的模型结构下，优化延迟、吞吐量和显存占用，支持千亿/万亿参数模型的实时推理需求。 3.低进度优化：基于结构化和非结构化模型进行低进度训推协同优化，从源头解决模型性能与精度的平衡难题。 4.广告链路端到端重塑：超长行为序列与超大候选Item情况下，优化传统的多阶段网络传输架构，需要一体化硬件支撑的召回/排序/机制统一服务。

【课题说明】 信息流广告系统一般采用“召回->粗排->精排->出价->拍卖”的多级漏斗架构，但各模块独立优化导致优化目标不一致，前链路会制约后链路上限，漏斗效率折损大。随着大模型和生成式技术的快速发展，其强大的表征能力和良好的Scaling性质也为广告系统提供了新的可能性。本研究旨在探索如何利用生成式技术重塑整个广告系统，通过一个端到端的生成式广告大模型完成所有决策，打破多级漏斗框架，打开模型决策空间，最大化平台收益。 【建议研究方向】 1.生成式广告训练系统设计：基于前沿大模型（如Transformer、HSTU等），设计生成式推荐模型的分布式训练框架，优化数据/模型的高效并行处理和混合精度训练策略。 2.高性能推理引擎建设：既有大稀疏（Embedding），又有大稠密（LLM）的模型结构下，优化延迟、吞吐量和显存占用，支持千亿/万亿参数模型的实时推理需求。 3.低进度优化：基于结构化和非结构化模型进行低进度训推协同优化，从源头解决模型性能与精度的平衡难题。 4.广告链路端到端重塑：超长行为序列与超大候选Item情况下，优化传统的多阶段网络传输架构，需要一体化硬件支撑的召回/排序/机制统一服务。

1、商业化LLM：负责大语言模型（LLM）的前沿技术探索和全链路研发，包括但不限于抗知识遗忘的继续预训练、指令微调、RLHF等，结合广告业务场景，研发基于大语言模型下游应用，包括但不限于营销场景下的语义理解、信息抽取、脚本生成、对话系统等，提升广告投放系统的智能化能力； 2、广告AIGC：负责以扩散模型等为代表的前沿图文/短视频的生成式AI在内容创作方面的算法研发和落地，包括但不限于text to image, text to video, image and video editting等，结合文本/图像/视频/音频等多模态匹配技术、广告投放优化策略和模型，优化AIGC系统生成效果和广告投放效果； 3、多模态大模型for推荐：负责视频多模态大模型的最新研究进展和相关技术实现（视频理解、视频内容问答、视频caption等），提出并优化最前沿算法，将多模态等基础大模型的表征学习与广告业务相结合，提升广告分发效率。