高德地图高德-多模态理解和生成算法专家-广告智能创作
任职要求
1、人工智能、计算机科学等相关学科硕士或博士，具备较强的学习能力和创新能力；
2、对多模态模型、扩散模型、统一理解和生成模型、强化学习等相关领域的前沿算法有了解，掌握指令微调及LORA等微调方法，有生成模型训练等方面的经验者优先；
3、具备扎实的编程基础，优秀的分析、解决问…工作职责
部门介绍： 我们是阿里巴巴-高德的大模型和AIGC核心部门，承接公司的重点业务，包括本地生活场景中的广告创意、商品理解、内容智能创作和分发，出行场景的AI智能化等，研究领域广泛，包括但不限于多模态大模型、大语言模型、图像生成、图像编辑美化、视频生成和视频理解等，团队技术氛围好，成长空间大，拥有充足的研发资源和大量的业务应用数据，团队多篇论文入选paper digest最有影响力论文名单。团队聚焦于本地生活领域的广告和内容智能创作方向，技术栈包括，多模态大模型的理解和生成，视觉创意的可控生成，图像生成和编辑。通过在前沿技术领域的深耕，推动技术在内容智能创作（扫街榜）、广告视觉创意生成和多场景（搜推等）的内容的图文生成等方向的应用。我们正在寻找对技术有极致热情和专注的同学，在创建业务价值的同时，对前沿技术做创新的探索，共同做出有影响力的工作。 岗位职责： 1、跟踪并深入研究生成式AI领域的前沿技术，负责多模态媒体内容的理解、图像编辑以及图像生成、统一多模态理解和生成、强化学习等基础能力的研究和探索； 2、与团队成员合作，解决在本地生活领域的内容智能创作（扫街榜）以及广告创意等的应用中的算法难点，共同推动技术在实际业务中的应用和落地。
1、广告AIGC：负责以可灵模型等为代表的前沿视频生成式AI在内容创作方面的算法研发和落地，包括但不限于text to video, image to video,image and video editting等，结合文本/图像/视频/音频等多模态匹配技术、广告投放优化策略和模型，优化AIGC系统生成效果和广告投放效果； 2、追踪业界创意、多模态及Generative AI方向最新技术，落地应用并提升广告创意理解、自动生成和优化等场景的效果。
1、广告AIGC：负责以可灵模型等为代表的前沿视频生成式AI在内容创作方面的算法研发和落地，包括但不限于text to video, image to video,image and video editting等，结合文本/图像/视频/音频等多模态匹配技术、广告投放优化策略和模型，优化AIGC系统生成效果和广告投放效果； 2、追踪业界创意、多模态及Generative AI方向最新技术，落地应用并提升广告创意理解、自动生成和优化等场景的效果。
1、商业化LLM：负责大语言模型（LLM）的前沿技术探索和全链路研发，包括但不限于抗知识遗忘的继续预训练、指令微调、RLHF等，结合广告业务场景，研发基于大语言模型下游应用，包括但不限于营销场景下的语义理解、信息抽取、脚本生成、对话系统等，提升广告投放系统的智能化能力； 2、广告AIGC：负责以扩散模型等为代表的前沿图文/短视频的生成式AI在内容创作方面的算法研发和落地，包括但不限于text to image, text to video, image and video editting等，结合文本/图像/视频/音频等多模态匹配技术、广告投放优化策略和模型，优化AIGC系统生成效果和广告投放效果； 3、多模态大模型for推荐：负责视频多模态大模型的最新研究进展和相关技术实现（视频理解、视频内容问答、视频caption等），提出并优化最前沿算法，将多模态等基础大模型的表征学习与广告业务相结合，提升广告分发效率。
团队介绍：字节跳动剪映研发团队，主要支持剪映、醒图、Faceu 等多款国内外产品的研发工作，业务覆盖多元化影像创作场景，截止2021年6月，相关产品多次登顶国内外App Store 免费应用榜第一，并继续保持高速增长。加入我们，一起打造全球最受用户欢迎的影像创作产品。 课题介绍： 1）课题背景： 1、数字化营销时代，企业对高质量、多样化营销素材的需求呈爆发式增长。从社交媒体图文到短视频广告，从个性化推荐文案到多模态互动内容，营销场景的复杂化与用户需求的碎片化对素材生成效率、创意水平和精准度提出了更高要求。传统依赖人工策划与设计的模式成本高、周期长，难以满足实时化、动态化、规模化的业务需求。尽管生成式AI（AIGC）技术（如GPT等）已在文本、图像生成领域取得突破，但在营销场景中仍面临创意适配性差、多模态协同能力弱、品牌一致性难保障等瓶颈。本课题旨在研发“创作领域Agent”，通过智能技术实现从策略洞察到内容生产的全链路自动化，推动营销效率与效果的革命性升级。 2、随着大语言模型、多模态模型等大模型的成熟，通过视觉理解、语音识别、文本生成等AI大模型能力，提升视频剪辑效率，基于创作者的需求和创意，高效的创作出炫酷、个性化的视频成为了可能。当前行业虽已有部分智能剪辑工具，但大多局限于规则化操作，成片或缺乏对用户意图的理解，效果同质化，或缺乏成片逻辑与情感，机械堆砌素材。 本课题旨在研究适合视频剪辑的大模型技术，结合剪映平台的强大剪辑能力和效果，打造一个智能剪辑的智能体（Agent），赋能自媒体内容生产、影视工业化、广告营销等场景。 2）课题挑战： 1、创意与商业价值的平衡：AI生成内容易陷入同质化，需突破算法在品牌调性理解、用户情感共鸣、营销目标对齐等方面的局限，确保创意兼具新颖性与商业转化价值。 2、多模态动态协同：文本、图像、视频等模态的生成需实现语义与风格的跨模态对齐，且需支持动态组合与实时迭代（如根据用户反馈即时优化素材）。 3、复杂场景泛化能力：营销场景高度细分（如电商促销、品牌故事、危机公关），Agent需具备上下文感知与领域迁移能力，避免“一刀切”生成策略。 4、计算效率与资源限制：高分辨率视觉素材生成、多版本AB测试等场景对算力需求极高，需优化模型轻量化与推理速度，满足企业级部署的可行性。 5、伦理与合规风险：需解决版权争议（如AI生成素材的版权归属）、内容安全（如虚假宣传、文化敏感性）等问题，构建可信可控的生成框架。 6、视频数据复杂性远超图片和文字，巨量的用户素材，要通过大模型去精准理解，并与图片、音频、文字等多模态特征统一，对多模态模型理解能力和推理优化，提出了极高要求。 7、大模型对素材编排和剪辑的结果，可能偏离用户真实意图，既要避免输出模板化、同质化，又要结合用户个性化和创意，在风格、节奏等维度上加入“人性化创意”。 8、大参数模型训练成本高，推理慢，如何通过模型优化、工程优化等手段，给移动端、PC等终端用户极致的体验，也是课题的一大挑战。 1、负责剪映CapCut的AI视频编辑方向的Agent模型训练与评测，使用SFT/RLHF/Post-training等技术对视频创作进行领域知识建模； 2、提升视频创作Agent大模型的增强模型和安全能力的指令遵从能力、提升Pre-trained Model在视频创作的能力，构建行业领先的视频创作专家的智能Agent。