字节跳动AIGC基础算法工程师

1、负责商业化领域的多模态模型优化，基于GPT类和CLIP/BLIP模型对齐视觉和文本信息，并通过数据建设、指令调优、模型调优等方法提升对多模态内容理解及生成能力，赋能商业化场景创意制作及优化； 2、负责营销图片生成模型优化，优化SD等模型，提升图片生成在Identity Preservation及视觉和投放表现的效果； 3、探索视频剪辑/成片模型，及端到端视频生成技术； 4、追踪业界创意、多模态及Generative AI方向最新技术，落地应用并提升广告创意理解、自动生成和优化等场景的效果；

1. 负责视觉生成模型（Diffusion Model) 的全流程加速优化，涵盖训练效率提升、推理时延优化、显存压缩等核心环节。 2. 研发前沿模型压缩技术，探索量化、蒸馏、剪枝等方法在图像/视频生成场景的创新应用。 3. 与产品团队深度协作，推动算法优化成果在 AIGC 实际场景的规模化落地。 4. 依托淘天集团亿级图像/视频数据的真实业务场景，直面高并发、低延迟的推理性能优化挑战，通过模型压缩、量化、编译优化等技术，在保障精度的同时实现推理效率的指数级提升。 你的算法优化将直接驱动用户体验升级，见证技术成果的规模化落地。

（1）支撑搜索产品业务算法升级，支撑搜索+LLM产品的落地； （2）负责语义相关性和语义召回相关项目，基于LLM-SFT、Bert等深度模型搭建成熟的语义基础能力，提升搜索增强（RAG）、搜索业务的文本相关性 （3）参与和支撑LLM与搜索结合的相关项目，如：智能摘要、AIGC等。

团队介绍：广告业务原为商业产品与技术部门，为抖音集团的商业变现提供广告产品与技术，负责端到端大型广告系统建设，覆盖抖音、今日头条、西瓜视频、番茄小说、穿山甲等产品矩阵，践行"激发生意新可能"理念，致力于让营销更省心、更高效、更美好，推动商业的可持续增长，让不分体量、地域的企业及个体，都能通过数字化技术激发创造、驱动生意。连接广告主、用户及生态伙伴、成为开放共赢的全球最佳智能营销平台之一。在这里，你将投身建设面向未来的数字营销能力，接触到全球先进的商业产品架构、模型和算法，在互联网广告行业始终创新。 课题介绍： 1、核心技术架构： 1）下一代广告技术栈： 模型算法层：搭建基于强化学习的智能出价与流量预估系统，攻克深层转化场景下的数据稀疏、多源异构数据融合（延迟数据/埋点噪声/跨平台行为）等行业难题； 系统工程层：构建支持基于长序列特征的实时预估框架，研发支持动态创意组合的自动化投放引擎； AIGC融合层：建立文/图/视频多模态生成技术中台，实现从IP素材生成到智能投放的全链路闭环； 2）行业首创的AIGC解决方案： 正在搭建全球领先的"小说→漫剧"智能生产线，攻克三大技术堡垒： 多模态叙事引擎：研发支持角色一致性保持（Character-aware Diffusion）、分镜自动生成（Storyboard LLM）、动态运镜控制（Camera ControlNet）的复合型生成框架； 工业化工作流：构建支持分布式渲染、多版本AB测试、合规性审核的智能生产管线，实现日均千级素材产能； 投放增效系统：开发生成质量量化评估模型（QAGAN），建立素材生成-投放效果的反哺优化机制； 2、岗位挑战： 你将主导： 构建支持沿模型的混合推理框架，优化多卡并行下的生成效率； 设计跨模态对齐算法，提升文字指令到视觉元素的可控生成精度； 研发基于用户行为分析的智能素材变异系统，实现CTR提升30%+的个性化内容生成； 打造从内容生产到实时竞价的全自动化广告引擎； 3、我们期待这样的开拓者： 精通Diffusion Models技术栈，具有LoRA/ControlNet/T2I-Adapter等微调框架的实战调优经验； 熟悉多模态大模型（如VideoPoet、Sora等视频生成技术原理），具备跨模态表征学习研究背景； 拥有广告算法背景者优先，熟悉CVR预估、智能出价等核心模块与生成式AI的结合点； 出色的工程化能力，主导过至少一个完整AIGC项目的端到端落地（从模型训练到服务部署）。