蚂蚁金服蚂蚁集团-内容安全视觉算法工程师-杭州

团队介绍：字节跳动剪映研发团队，主要支持剪映、醒图、Faceu 等多款国内外产品的研发工作，业务覆盖多元化影像创作场景，截止2021年6月，相关产品多次登顶国内外App Store 免费应用榜第一，并继续保持高速增长。加入我们，一起打造全球最受用户欢迎的影像创作产品。 课题介绍： 1）课题背景： 1、数字化营销时代，企业对高质量、多样化营销素材的需求呈爆发式增长。从社交媒体图文到短视频广告，从个性化推荐文案到多模态互动内容，营销场景的复杂化与用户需求的碎片化对素材生成效率、创意水平和精准度提出了更高要求。传统依赖人工策划与设计的模式成本高、周期长，难以满足实时化、动态化、规模化的业务需求。尽管生成式AI（AIGC）技术（如GPT等）已在文本、图像生成领域取得突破，但在营销场景中仍面临创意适配性差、多模态协同能力弱、品牌一致性难保障等瓶颈。本课题旨在研发“创作领域Agent”，通过智能技术实现从策略洞察到内容生产的全链路自动化，推动营销效率与效果的革命性升级。 2、随着大语言模型、多模态模型等大模型的成熟，通过视觉理解、语音识别、文本生成等AI大模型能力，提升视频剪辑效率，基于创作者的需求和创意，高效的创作出炫酷、个性化的视频成为了可能。当前行业虽已有部分智能剪辑工具，但大多局限于规则化操作，成片或缺乏对用户意图的理解，效果同质化，或缺乏成片逻辑与情感，机械堆砌素材。 本课题旨在研究适合视频剪辑的大模型技术，结合剪映平台的强大剪辑能力和效果，打造一个智能剪辑的智能体（Agent），赋能自媒体内容生产、影视工业化、广告营销等场景。 2）课题挑战： 1、创意与商业价值的平衡：AI生成内容易陷入同质化，需突破算法在品牌调性理解、用户情感共鸣、营销目标对齐等方面的局限，确保创意兼具新颖性与商业转化价值。 2、多模态动态协同：文本、图像、视频等模态的生成需实现语义与风格的跨模态对齐，且需支持动态组合与实时迭代（如根据用户反馈即时优化素材）。 3、复杂场景泛化能力：营销场景高度细分（如电商促销、品牌故事、危机公关），Agent需具备上下文感知与领域迁移能力，避免“一刀切”生成策略。 4、计算效率与资源限制：高分辨率视觉素材生成、多版本AB测试等场景对算力需求极高，需优化模型轻量化与推理速度，满足企业级部署的可行性。 5、伦理与合规风险：需解决版权争议（如AI生成素材的版权归属）、内容安全（如虚假宣传、文化敏感性）等问题，构建可信可控的生成框架。 6、视频数据复杂性远超图片和文字，巨量的用户素材，要通过大模型去精准理解，并与图片、音频、文字等多模态特征统一，对多模态模型理解能力和推理优化，提出了极高要求。 7、大模型对素材编排和剪辑的结果，可能偏离用户真实意图，既要避免输出模板化、同质化，又要结合用户个性化和创意，在风格、节奏等维度上加入“人性化创意”。 8、大参数模型训练成本高，推理慢，如何通过模型优化、工程优化等手段，给移动端、PC等终端用户极致的体验，也是课题的一大挑战。 1、负责剪映CapCut的AI视频编辑方向的Agent模型训练与评测，使用SFT/RLHF/Post-training等技术对视频创作进行领域知识建模； 2、提升视频创作Agent大模型的增强模型和安全能力的指令遵从能力、提升Pre-trained Model在视频创作的能力，构建行业领先的视频创作专家的智能Agent。

团队介绍：TikTok是一个覆盖150个国家和地区的国际短视频平台，我们希望通过TikTok发现真实、有趣的瞬间，让生活更美好。TikTok 在全球各地设有办公室，全球总部位于洛杉矶和新加坡，办公地点还包括纽约、伦敦、都柏林、巴黎、柏林、迪拜、雅加达、首尔和东京等多个城市。 TikTok研发团队，旨在实现TikTok业务的研发工作，搭建及维护业界领先的产品。加入我们，你能接触到包括用户增长、社交、直播、电商C端、内容创造、内容消费等核心业务场景，支持产品在全球赛道上高速发展；也能接触到包括服务架构、基础技术等方向上的技术挑战，保障业务持续高质量、高效率、且安全地为用户服务；同时还能为不同业务场景提供全面的技术解决方案，优化各项产品指标及用户体验。 在这里， 有大牛带队与大家一同不断探索前沿， 突破想象空间。 在这里，你的每一行代码都将服务亿万用户。在这里，团队专业且纯粹，合作氛围平等且轻松。目前在北京，上海，杭州、广州、深圳分别开放多个岗位机会。 课题背景： 图形渲染技术是游戏、影视、AR/VR等多媒体应用的重要基础设施与核心技术。随着短视频、直播、元宇宙等场景的爆发式增长，以及AI生成能力对传统图形管线的冲击，用户对实时场景下，内容更泛化，制作流程的效率提升，高画质渲染呈现的需求也急剧上升。当下的移动端算力又难以满足高画质、个性化、低门槛的UGC创作诉求。随着AI技术更进一步的发展，正逐步推动着图形渲染从"确定性算法驱动"向"概率化智能生成"的迁移，为渲染技术带来了新的可能性。 课题挑战： 1、提升渲染上限：传统实时图形渲染框架诞生了近三十年，传统实时渲染框架下的各种技术&工具链已经发展得非常成熟。但随着用户对高质量、高画质的效果内容的需求越来越高，图形渲染的场景、光影复杂度也越来越高，传统的图形光栅化渲染管线越来越难以满足用户对画质效果的需求，在算力更为不足的移动端表现地尤为明显。如何应用AI技术提升渲染性能，是一个充满挑战的课题。 2、减低制作门槛：在用户互动场景中，素材、场景建模的制作成本也变得越来越高昂。用户希望低门槛生成个性化内容，但传统图形渲染技术依赖专业人士建模，门槛极高。如何应用AI技术制作低门槛、个性化资产，同样是一个充满挑战的课题。 3、工作范式革新：在短视频拍摄场景中，传统图形引擎是通过视觉算法、图形渲染算法的结合完成图像视频增强。伴随着人工智能的热潮，AI技术在视频生成领域也有了许多突破性进展。以 Sora、Luma、DreamMachine 为代表的生成式视频模型，正在重构视觉内容生产范式，存在对现有视频处理链路革新的可能性，但也面临许多挑战，如视频一致性、物理仿真正确性、运算复杂度高等等。

团队介绍：TikTok是一个覆盖150个国家和地区的国际短视频平台，我们希望通过TikTok发现真实、有趣的瞬间，让生活更美好。TikTok 在全球各地设有办公室，全球总部位于洛杉矶和新加坡，办公地点还包括纽约、伦敦、都柏林、巴黎、柏林、迪拜、雅加达、首尔和东京等多个城市。 TikTok研发团队，旨在实现TikTok业务的研发工作，搭建及维护业界领先的产品。加入我们，你能接触到包括用户增长、社交、直播、电商C端、内容创造、内容消费等核心业务场景，支持产品在全球赛道上高速发展；也能接触到包括服务架构、基础技术等方向上的技术挑战，保障业务持续高质量、高效率、且安全地为用户服务；同时还能为不同业务场景提供全面的技术解决方案，优化各项产品指标及用户体验。 在这里， 有大牛带队与大家一同不断探索前沿， 突破想象空间。 在这里，你的每一行代码都将服务亿万用户。在这里，团队专业且纯粹，合作氛围平等且轻松。目前在北京，上海，杭州、广州、深圳分别开放多个岗位机会。 课题背景： 图形渲染技术是游戏、影视、AR/VR等多媒体应用的重要基础设施与核心技术。随着短视频、直播、元宇宙等场景的爆发式增长，以及AI生成能力对传统图形管线的冲击，用户对实时场景下，内容更泛化，制作流程的效率提升，高画质渲染呈现的需求也急剧上升。当下的移动端算力又难以满足高画质、个性化、低门槛的UGC创作诉求。随着AI技术更进一步的发展，正逐步推动着图形渲染从"确定性算法驱动"向"概率化智能生成"的迁移，为渲染技术带来了新的可能性。 课题挑战： 1、提升渲染上限：传统实时图形渲染框架诞生了近三十年，传统实时渲染框架下的各种技术&工具链已经发展得非常成熟。但随着用户对高质量、高画质的效果内容的需求越来越高，图形渲染的场景、光影复杂度也越来越高，传统的图形光栅化渲染管线越来越难以满足用户对画质效果的需求，在算力更为不足的移动端表现地尤为明显。如何应用AI技术提升渲染性能，是一个充满挑战的课题。 2、减低制作门槛：在用户互动场景中，素材、场景建模的制作成本也变得越来越高昂。用户希望低门槛生成个性化内容，但传统图形渲染技术依赖专业人士建模，门槛极高。如何应用AI技术制作低门槛、个性化资产，同样是一个充满挑战的课题。 3、工作范式革新：在短视频拍摄场景中，传统图形引擎是通过视觉算法、图形渲染算法的结合完成图像视频增强。伴随着人工智能的热潮，AI技术在视频生成领域也有了许多突破性进展。以 Sora、Luma、DreamMachine 为代表的生成式视频模型，正在重构视觉内容生产范式，存在对现有视频处理链路革新的可能性，但也面临许多挑战，如视频一致性、物理仿真正确性、运算复杂度高等等。

在这里，你将参与淘宝图片、视频、直播等丰富的内容业务场景，为用户的内容创作AIGC、消费体验提供更多的创意和能力。 在这里，你将与算法同学深度合作，进行算法和推理系统的联合深度优化，为各类算法模型在淘天的产品中应用提供有力的支撑。 在这里，你将会跟踪前沿技术（如模型量化），深度探索性能优化与工程效率的提升方案。 加入我们，你将会面对新的内容场景，通过技术深耕，和其他优秀的同学一起，改善全世界数十亿人的购物、娱乐和交互的体验。探索未知，挑战未来，来吧，我们等你加入！ 【职位职责】包括但不限于： 1、参与机器学习全生命周期（训练、推理、MLOps、CI/CD、AB testing）组件的开发与优化。 2、设计和实现机器学习系统所需要的大规模分布式计算系统。 3、设计高性能的推理系统与高利用量的弹性资源调度系统。 4、在机器学习系统的前沿领域（如模型量化）参与应用驱动的研究。 5、收集理解淘天AI的需求并转化为技术系统设计。