OPPOCV算法专家（视觉编辑）
任职要求
1. 硕士毕业6年以上，博士毕业3年以上，计算机科学、数学、物理等相关专业。 2. 熟练掌握Python编程语言，熟悉TensorFlow、PyTorch等深度学习框架。 3. …
工作职责
1. 负责研究和开发视觉理解、视觉编辑类算法，以实现高效、高质量的扩散模型（diffusion）生成式对抗网络（GAN）和变分自编码器（VAE）等模型，为图文创作、图片编辑等产品提供能力。 2. 设计和实现新的AIGC模型，以提高生成图像、视频、音频等内容的质量和多样性。 3. 优化现有的AIGC模型，以提高训练速度和生成效果。 4. 与团队成员合作，解决项目中遇到的技术难题。 5. 跟踪最新的AIGC技术发展，为团队提供技术支持和建议。
1、负责AIGC人像图像的生成/编辑等算法研发，重点解决模型的生成质量、多样性、可控编辑等问题； 2、负责人像美化生成技术的前沿探索，包括但不限于人像美感提升、稳定性优化等，将前沿的CV技术与快手丰富的业务场景结合，被上亿用户所使用。
1.参与地图自动化制图系统的核心算法研发，包括遥感/街景/轨迹等多源数据下的2D/3D目标检测、语义分割、矢量要素提取、拓扑关系建模等任务； 2.探索多模态大模型与AIGC技术在地图内容生成、编辑与更新中的应用，如：基于视觉-语言模型的地图要素理解，利用AIGC技术进行地图要素的自动化标注与矢量生成，端到端地图构建技术（如MapTR、VectorMapNet等）的研发与优化； 3.将感知与大模型算法落地于轻量化地图产品或车道级地图生产流程，实现高效率、低成本的自动化建图系统； 4.参与地图构建全流程的算法优化，包括数据清洗、坐标校准、多源数据融合、地图更新等环节的系统性提升。
团队介绍：智能创作团队是字节跳动创作场景业务中台，负责了抖音、剪映等产品的技术和业务研发，涵盖了计算机视觉、深度学习、高性能计算、图形学、特效引擎等技术领域，并以多种形式向公司内部各业务线提供业界前沿的内容理解、内容创作、互动体验与消费的能力和行业解决方案，同时通过火山引擎为企业客户提供服务。 1、研究和开发多模态智能生成和编辑算法，包括文案、图像、视频等； 2、设计和优化现有算法，提高性能和准确性，确保高质量的用户体验； 3、深入调研和关注多模态/NLP/CV等方向的前沿技术，及时将新技术应用到产品中； 4、与产品经理、设计师和其他工程师紧密合作，确保产品迭代的高效推进。
团队介绍：字节跳动剪映研发团队，主要支持剪映、醒图、Faceu 等多款国内外产品的研发工作，业务覆盖多元化影像创作场景，截止2021年6月，相关产品多次登顶国内外App Store 免费应用榜第一，并继续保持高速增长。加入我们，一起打造全球最受用户欢迎的影像创作产品。 课题介绍： 1、课题背景： 1）数字化营销时代，企业对高质量、多样化营销素材的需求呈爆发式增长。从社交媒体图文到短视频广告，从个性化推荐文案到多模态互动内容，营销场景的复杂化与用户需求的碎片化对素材生成效率、创意水平和精准度提出了更高要求。传统依赖人工策划与设计的模式成本高、周期长，难以满足实时化、动态化、规模化的业务需求。尽管生成式AI（AIGC）技术（如GPT等）已在文本、图像生成领域取得突破，但在营销场景中仍面临创意适配性差、多模态协同能力弱、品牌一致性难保障等瓶颈。本课题旨在研发“创作领域Agent”，通过智能技术实现从策略洞察到内容生产的全链路自动化，推动营销效率与效果的革命性升级。 2）随着大语言模型、多模态模型等大模型的成熟，通过视觉理解、语音识别、文本生成等AI大模型能力，提升视频剪辑效率，基于创作者的需求和创意，高效的创作出炫酷、个性化的视频成为了可能。当前行业虽已有部分智能剪辑工具，但大多局限于规则化操作，成片或缺乏对用户意图的理解，效果同质化，或缺乏成片逻辑与情感，机械堆砌素材。 本课题旨在研究适合视频剪辑的大模型技术，结合剪映平台的强大剪辑能力和效果，打造一个智能剪辑的智能体（Agent），赋能自媒体内容生产、影视工业化、广告营销等场景。 2、课题挑战： 1、创意与商业价值的平衡：AI生成内容易陷入同质化，需突破算法在品牌调性理解、用户情感共鸣、营销目标对齐等方面的局限，确保创意兼具新颖性与商业转化价值。 2、多模态动态协同：文本、图像、视频等模态的生成需实现语义与风格的跨模态对齐，且需支持动态组合与实时迭代（如根据用户反馈即时优化素材）。 3、复杂场景泛化能力：营销场景高度细分（如电商促销、品牌故事、危机公关），Agent需具备上下文感知与领域迁移能力，避免“一刀切”生成策略。 4、计算效率与资源限制：高分辨率视觉素材生成、多版本AB测试等场景对算力需求极高，需优化模型轻量化与推理速度，满足企业级部署的可行性。 5、伦理与合规风险：需解决版权争议（如AI生成素材的版权归属）、内容安全（如虚假宣传、文化敏感性）等问题，构建可信可控的生成框架。 6、视频数据复杂性远超图片和文字，巨量的用户素材，要通过大模型去精准理解，并与图片、音频、文字等多模态特征统一，对多模态模型理解能力和推理优化，提出了极高要求。 7、大模型对素材编排和剪辑的结果，可能偏离用户真实意图，既要避免输出模板化、同质化，又要结合用户个性化和创意，在风格、节奏等维度上加入“人性化创意”。 8、大参数模型训练成本高，推理慢，如何通过模型优化、工程优化等手段，给移动端、PC等终端用户极致的体验，也是课题的一大挑战。 职位描述： 1、负责剪映CapCut的AI视频编辑方向的Agent模型训练与评测，使用SFT/RLHF/Post-training等技术对视频创作进行领域知识建模； 2、提升视频创作Agent大模型的增强模型和安全能力的指令遵从能力、提升Pre-trained Model在视频创作的能力，构建行业领先的视频创作专家的智能Agent。