字节跳动AIGC大模型算法专家-国际商业化(北京/上海)
任职要求
1、硕士学位及以上,计算机科学、人工智能、自动化、电子信息等相关专业优先; 2、对Diffusion、DiT/MMDiT、Flow Matching/Rectified Flow、Consistency Models、Autoregressive等主流生成模型结构有深入理解与改进经验,熟悉噪声调度、Solver设计(DDIM、DPM-Solver、Heun)、Classifier-Free Guidance及其变体(CFG++、APG)等核心组件,清晰掌握图像或视频生成方向的SOTA方法演进脉络; 3、对生成模型/LLM/MLLM相关后训练技术,包括SFT、RLHF、DPO/IPO/KTO、Reward Modeling、Rejection Sampling等有实践或创新优化相关经验;具备Reward信号设计、偏好数据构建与去噪、训练稳定性调优、分布偏移控制(KL约束、Reference Model设计)等实战能力; 4、对PPO、GRPO、Diffusion-DPO、DDPO、ReFL等RL算法在生成模型…
工作职责
1、进行生成式人工智能领域的前沿算法研究与模型优化,聚焦图像、视频、数字人、多模态生成等方向,持续突破生成质量、可控性、采样效率与训练稳定性的技术边界; 2、生成模型结构创新:深度参与Diffusion、DiT、MMDiT、Flow Matching、Rectified Flow、Autoregressive、Masked Generative Transformer等主流生成架构的设计与改进,探索新型骨干网络、时空注意力机制、条件注入方式(Cross-Attention、AdaLN、In-Context Conditioning)、3D VAE/Tokenizer设计、长序列时序建模等关键技术,提升模型在图像与视频生成任务上的表现上限; 3、数据生产与数据工程:主导高质量训练数据的构建链路,包括多阶段数据清洗(美学打分、运动一致性过滤、OCR/Watermark检测)、自动标注(Recaption、Dense Caption、镜头语言标注)、合成数据生成、Bucket分桶与分辨率策略、数据配比与课程学习(Curriculum Learning)设计,建立面向生成模型的数据飞轮与端到端质量评估体系; 4、后训练优化:应用与创新后训练方法,如SFT、DPO、IPO、KTO、Reward Modeling、RLHF及其针对Diffusion的变体(Diffusion-DPO、DDPO、ReFL),针对生成模型在美感、可控性、指令跟随、物理合理性、安全性等维度进行对齐与能力提升;探索Step Distillation、Consistency Distillation、Rectified Flow Distillation等少步采样后训练方法; 5、强化学习算法研究:探索并落地适用于生成模型的强化学习算法,包括PPO、GRPO、RLOO、Diffusion-DPO、DDPO、ReFL等,针对可微分Reward接入、采样轨迹信用分配、Reward Hacking、长视频稀疏奖励、训练稳定性与探索-利用平衡等关键问题进行算法创新。
AI导购是一个技术综合型场景,涉及到文本生成、商品推荐、多模态理解、生成等等。LLM相关的大多数技术都能在导购场景中发挥很大的价值。 候选人将会负责 1.淘宝AI导购场景的算法研发,面向亿级别的C端用户,利用前沿的大模型、AIGC等技术,建设服饰场景下的AI搭配能力。 2.利用淘宝海量的用户行为数据和知识,训练符合中国人审美的服饰穿搭多模态理解及生成统一模型;并构建与淘宝子商品的关联算法,生成优质的服饰搭配库。 3.建设在线搭配搜索及推荐系统,包含业务逻辑开发及搜推算法构建,完成在业务场景的应用落地。
1、商业化LLM:负责大语言模型(LLM)的前沿技术探索和全链路研发,包括但不限于抗知识遗忘的继续预训练、指令微调、RLHF等,结合广告业务场景,研发基于大语言模型下游应用,包括但不限于营销场景下的语义理解、信息抽取、脚本生成、对话系统等,提升广告投放系统的智能化能力; 2、广告AIGC:负责以扩散模型等为代表的前沿图文/短视频的生成式AI在内容创作方面的算法研发和落地,包括但不限于text to image, text to video, image and video editting等,结合文本/图像/视频/音频等多模态匹配技术、广告投放优化策略和模型,优化AIGC系统生成效果和广告投放效果; 3、多模态大模型for推荐:负责视频多模态大模型的最新研究进展和相关技术实现(视频理解、视频内容问答、视频caption等),提出并优化最前沿算法,将多模态等基础大模型的表征学习与广告业务相结合,提升广告分发效率。
1.研发基于视觉大模型的AIGC算法,实现地图要素(尤其是建筑)的模型超分、风格化生成、材质替换与色彩增强; 2.利用文生图/图生图大模型,结合地理信息,为批量建筑自动生成符合语义、光照一致性的风格化纹理与材质; 3.针对特定风格(如卡通渲染、赛博朋克、水墨风)进行定向优化,实现城市级规模的一键换肤; 4.推动技术在产品中落地,解决生成内容的几何一致性、视觉舒适度与性能开销等挑战。