腾讯大模型管线数据工程师（深圳/北京）
任职要求
1.本科/硕士及以上学历，有大模型管线架构、优化、存储等全链路万亿级数据计算存储经验； 2.精通 Python／C++／Java 中至少一种，有良好工程化编码能力与测试习惯； 3.熟悉端到端数据管线、数据版本控制、数据血缘与可观测性（例如 DVC、ML…
工作职责
1.面向大模型预训练、后训练数据管线，设计并实现高效的数据处理平台。单管线上，通过算子编排形成数据计算、存储、一体化符合大模型训练的管线平台，平台级别上，通过存储、计算优化实现平台产能提升； 2.计算方向，提升平台级别计算效率，通过海量数据、任务、资源、合理化系统设计，抽象，对各个可编排算子的合并、拆分，达成易用性和计算性能平衡。对热点的算子，考虑单点优化以及公共服务的方式达到平台级性能提升； 3.存储方向，构建服务于整个预训练和后训练的dataset，优化海量存储管理与访问方案（对象存储分层、冷热分层、缓存策略、数据压缩与列式格式优化、读写并发控制、成本与生命周期管理）； 4.编写技术文档、最佳实践与性能评估报告，推动能力沉淀与工具链升级。
团队介绍：广告业务原为商业产品与技术部门，为抖音集团的商业变现提供广告产品与技术，负责端到端大型广告系统建设，覆盖抖音、今日头条、西瓜视频、番茄小说、穿山甲等产品矩阵，践行"激发生意新可能"理念，致力于让营销更省心、更高效、更美好，推动商业的可持续增长，让不分体量、地域的企业及个体，都能通过数字化技术激发创造、驱动生意。连接广告主、用户及生态伙伴、成为开放共赢的全球最佳智能营销平台之一。在这里，你将投身建设面向未来的数字营销能力，接触到全球先进的商业产品架构、模型和算法，在互联网广告行业始终创新。 课题介绍： 1、核心技术架构： 1）下一代广告技术栈： 模型算法层：搭建基于强化学习的智能出价与流量预估系统，攻克深层转化场景下的数据稀疏、多源异构数据融合（延迟数据/埋点噪声/跨平台行为）等行业难题； 系统工程层：构建支持基于长序列特征的实时预估框架，研发支持动态创意组合的自动化投放引擎； AIGC融合层：建立文/图/视频多模态生成技术中台，实现从IP素材生成到智能投放的全链路闭环； 2）行业首创的AIGC解决方案： 正在搭建全球领先的"小说→漫剧"智能生产线，攻克三大技术堡垒： 多模态叙事引擎：研发支持角色一致性保持（Character-aware Diffusion）、分镜自动生成（Storyboard LLM）、动态运镜控制（Camera ControlNet）的复合型生成框架； 工业化工作流：构建支持分布式渲染、多版本AB测试、合规性审核的智能生产管线，实现日均千级素材产能； 投放增效系统：开发生成质量量化评估模型（QAGAN），建立素材生成-投放效果的反哺优化机制； 2、岗位挑战： 你将主导： 构建支持沿模型的混合推理框架，优化多卡并行下的生成效率； 设计跨模态对齐算法，提升文字指令到视觉元素的可控生成精度； 研发基于用户行为分析的智能素材变异系统，实现CTR提升30%+的个性化内容生成； 打造从内容生产到实时竞价的全自动化广告引擎； 3、我们期待这样的开拓者： 精通Diffusion Models技术栈，具有LoRA/ControlNet/T2I-Adapter等微调框架的实战调优经验； 熟悉多模态大模型（如VideoPoet、Sora等视频生成技术原理），具备跨模态表征学习研究背景； 拥有广告算法背景者优先，熟悉CVR预估、智能出价等核心模块与生成式AI的结合点； 出色的工程化能力，主导过至少一个完整AIGC项目的端到端落地（从模型训练到服务部署）。
团队介绍：TikTok是一个覆盖150个国家和地区的国际短视频平台，我们希望通过TikTok发现真实、有趣的瞬间，让生活更美好。TikTok 在全球各地设有办公室，全球总部位于洛杉矶和新加坡，办公地点还包括纽约、伦敦、都柏林、巴黎、柏林、迪拜、雅加达、首尔和东京等多个城市。 TikTok研发团队，旨在实现TikTok业务的研发工作，搭建及维护业界领先的产品。加入我们，你能接触到包括用户增长、社交、直播、电商C端、内容创造、内容消费等核心业务场景，支持产品在全球赛道上高速发展；也能接触到包括服务架构、基础技术等方向上的技术挑战，保障业务持续高质量、高效率、且安全地为用户服务；同时还能为不同业务场景提供全面的技术解决方案，优化各项产品指标及用户体验。 在这里， 有大牛带队与大家一同不断探索前沿， 突破想象空间。 在这里，你的每一行代码都将服务亿万用户。在这里，团队专业且纯粹，合作氛围平等且轻松。目前在北京，上海，杭州、广州、深圳分别开放多个岗位机会。 课题背景： 图形渲染技术是游戏、影视、AR/VR等多媒体应用的重要基础设施与核心技术。随着短视频、直播、元宇宙等场景的爆发式增长，以及AI生成能力对传统图形管线的冲击，用户对实时场景下，内容更泛化，制作流程的效率提升，高画质渲染呈现的需求也急剧上升。当下的移动端算力又难以满足高画质、个性化、低门槛的UGC创作诉求。随着AI技术更进一步的发展，正逐步推动着图形渲染从"确定性算法驱动"向"概率化智能生成"的迁移，为渲染技术带来了新的可能性。 课题挑战： 1、提升渲染上限：传统实时图形渲染框架诞生了近三十年，传统实时渲染框架下的各种技术&工具链已经发展得非常成熟。但随着用户对高质量、高画质的效果内容的需求越来越高，图形渲染的场景、光影复杂度也越来越高，传统的图形光栅化渲染管线越来越难以满足用户对画质效果的需求，在算力更为不足的移动端表现地尤为明显。如何应用AI技术提升渲染性能，是一个充满挑战的课题。 2、减低制作门槛：在用户互动场景中，素材、场景建模的制作成本也变得越来越高昂。用户希望低门槛生成个性化内容，但传统图形渲染技术依赖专业人士建模，门槛极高。如何应用AI技术制作低门槛、个性化资产，同样是一个充满挑战的课题。 3、工作范式革新：在短视频拍摄场景中，传统图形引擎是通过视觉算法、图形渲染算法的结合完成图像视频增强。伴随着人工智能的热潮，AI技术在视频生成领域也有了许多突破性进展。以 Sora、Luma、DreamMachine 为代表的生成式视频模型，正在重构视觉内容生产范式，存在对现有视频处理链路革新的可能性，但也面临许多挑战，如视频一致性、物理仿真正确性、运算复杂度高等等。
团队介绍：TikTok是一个覆盖150个国家和地区的国际短视频平台，我们希望通过TikTok发现真实、有趣的瞬间，让生活更美好。TikTok 在全球各地设有办公室，全球总部位于洛杉矶和新加坡，办公地点还包括纽约、伦敦、都柏林、巴黎、柏林、迪拜、雅加达、首尔和东京等多个城市。 TikTok研发团队，旨在实现TikTok业务的研发工作，搭建及维护业界领先的产品。加入我们，你能接触到包括用户增长、社交、直播、电商C端、内容创造、内容消费等核心业务场景，支持产品在全球赛道上高速发展；也能接触到包括服务架构、基础技术等方向上的技术挑战，保障业务持续高质量、高效率、且安全地为用户服务；同时还能为不同业务场景提供全面的技术解决方案，优化各项产品指标及用户体验。 在这里， 有大牛带队与大家一同不断探索前沿， 突破想象空间。 在这里，你的每一行代码都将服务亿万用户。在这里，团队专业且纯粹，合作氛围平等且轻松。目前在北京，上海，杭州、广州、深圳分别开放多个岗位机会。 课题背景： 图形渲染技术是游戏、影视、AR/VR等多媒体应用的重要基础设施与核心技术。随着短视频、直播、元宇宙等场景的爆发式增长，以及AI生成能力对传统图形管线的冲击，用户对实时场景下，内容更泛化，制作流程的效率提升，高画质渲染呈现的需求也急剧上升。当下的移动端算力又难以满足高画质、个性化、低门槛的UGC创作诉求。随着AI技术更进一步的发展，正逐步推动着图形渲染从"确定性算法驱动"向"概率化智能生成"的迁移，为渲染技术带来了新的可能性。 课题挑战： 1、提升渲染上限：传统实时图形渲染框架诞生了近三十年，传统实时渲染框架下的各种技术&工具链已经发展得非常成熟。但随着用户对高质量、高画质的效果内容的需求越来越高，图形渲染的场景、光影复杂度也越来越高，传统的图形光栅化渲染管线越来越难以满足用户对画质效果的需求，在算力更为不足的移动端表现地尤为明显。如何应用AI技术提升渲染性能，是一个充满挑战的课题。 2、减低制作门槛：在用户互动场景中，素材、场景建模的制作成本也变得越来越高昂。用户希望低门槛生成个性化内容，但传统图形渲染技术依赖专业人士建模，门槛极高。如何应用AI技术制作低门槛、个性化资产，同样是一个充满挑战的课题。 3、工作范式革新：在短视频拍摄场景中，传统图形引擎是通过视觉算法、图形渲染算法的结合完成图像视频增强。伴随着人工智能的热潮，AI技术在视频生成领域也有了许多突破性进展。以 Sora、Luma、DreamMachine 为代表的生成式视频模型，正在重构视觉内容生产范式，存在对现有视频处理链路革新的可能性，但也面临许多挑战，如视频一致性、物理仿真正确性、运算复杂度高等等。
团队介绍：广告业务原为商业产品与技术部门，为抖音集团的商业变现提供广告产品与技术，负责端到端大型广告系统建设，覆盖抖音、今日头条、西瓜视频、番茄小说、穿山甲等产品矩阵，践行"激发生意新可能"理念，致力于让营销更省心、更高效、更美好，推动商业的可持续增长，让不分体量、地域的企业及个体，都能通过数字化技术激发创造、驱动生意。连接广告主、用户及生态伙伴、成为开放共赢的全球最佳智能营销平台之一。在这里，你将投身建设面向未来的数字营销能力，接触到全球先进的商业产品架构、模型和算法，在互联网广告行业始终创新。 课题介绍： 1、核心技术架构： 1）下一代广告技术栈： 模型算法层：搭建基于强化学习的智能出价与流量预估系统，攻克深层转化场景下的数据稀疏、多源异构数据融合（延迟数据/埋点噪声/跨平台行为）等行业难题； 系统工程层：构建支持基于长序列特征的实时预估框架，研发支持动态创意组合的自动化投放引擎； AIGC融合层：建立文/图/视频多模态生成技术中台，实现从IP素材生成到智能投放的全链路闭环； 2）行业首创的AIGC解决方案： 正在搭建全球领先的"小说→漫剧"智能生产线，攻克三大技术堡垒： 多模态叙事引擎：研发支持角色一致性保持（Character-aware Diffusion）、分镜自动生成（Storyboard LLM）、动态运镜控制（Camera ControlNet）的复合型生成框架； 工业化工作流：构建支持分布式渲染、多版本AB测试、合规性审核的智能生产管线，实现日均千级素材产能； 投放增效系统：开发生成质量量化评估模型（QAGAN），建立素材生成-投放效果的反哺优化机制； 2、岗位挑战： 你将主导： 构建支持沿模型的混合推理框架，优化多卡并行下的生成效率； 设计跨模态对齐算法，提升文字指令到视觉元素的可控生成精度； 研发基于用户行为分析的智能素材变异系统，实现CTR提升30%+的个性化内容生成； 打造从内容生产到实时竞价的全自动化广告引擎； 3、我们期待这样的开拓者： 精通Diffusion Models技术栈，具有LoRA/ControlNet/T2I-Adapter等微调框架的实战调优经验； 熟悉多模态大模型（如VideoPoet、Sora等视频生成技术原理），具备跨模态表征学习研究背景； 拥有广告算法背景者优先，熟悉CVR预估、智能出价等核心模块与生成式AI的结合点； 出色的工程化能力，主导过至少一个完整AIGC项目的端到端落地（从模型训练到服务部署）。