快手多模态视频生成数据与算法工程师（RLHF方向）-【可灵AI】
任职要求
1、硕士及以上学历，具备扎实的工程能力与算法背景，对多模态大模型、视频生成和模型后训练有强烈兴趣； 2、以核心成员身份参与过 RLHF/偏好数据构建或后训练项目，熟悉数据采集、送标、质检、评测、训练、回归的完整链路； 3、在图像或视频生成任务中，具备 DPO / GRPO / ReFL / PPO 等方法的实际工程经验，理解算法效果、稳定性与成本之间的权衡； 4、熟悉计算机视觉基础与生成建模（图像/视频生成、时序建模、VLM 等），…
工作职责
1、负责多模态视频生成模型的 RLHF 数据体系建设与工程落地，围绕运动质量、文本对齐、画面稳定性、风格一致性等核心业务指标，构建可规模化、可迭代的数据生产与交付流程； 2、设计并实现面向视频生成的 偏好建模与 Reward 机制，将主观质量（美感、合理性、符合指令等）转化为稳定、可优化的训练信号，推动模型在真实场景中的持续提升； 3、在生产环境中落地 DPO / GRPO / ReFL / PPO 等后训练与强化学习方法，结合数据策略与算法设计，提升模型效果并控制训练成本与稳定性； 4、深度对齐业务目标（如生成质量、用户满意度、场景可用性、内容安全等），以 “数据 + 算法 + 评测”闭环驱动模型迭代，对关键指标提升结果负责； 5、与算法、工程、数据、产品及运营团队紧密协作，建设 自动化数据管线、评测与回归体系，确保 RLHF 能在多模型、多版本中稳定复用与规模化落地。
● 参与生成式人工智能在蚂蚁国际业务特别是金融相关业务的探索和应用工作，包括方案调研与设计，构建指标和评测体系，模型训练与调优，效果评测与持续跟踪，大模型推理加速等大模型应用的全流程实际落地工作 ● 参与数据生产、模型训练、评测体系建设，推理优化等多个环节的代码库开发工作，结合蚂蚁国际的大模型应用平台和基础设施，结合实际工作和业务需要进行工具链的开发和维护 ● 参与到蚂蚁国际的多项海外业务之中，进行跨团队合作，深入理解 AI 在蚂蚁国际中的金融应用场景，并通过将业务和技术的深度结合进行创新，打造在国际化场景中的金融人工智能。 ● 跟进业界前沿的大模型研究和应用进展，特别是生成式人工智能的应用场景和创新形态，并探索在实际业务场景中应用落地的可能性， ● 积累工作成果，沉淀最佳实践，发表论文及专利，提升技术影响力
我们是谁？ 作为中国领先的数字地图内容及导航服务提供商，高德地图日均服务数亿用户出行决策，每日处理超百亿级位置数据。视觉技术中心是驱动高德实现厘米级高精地图、实时三维重建、多模态感知等核心技术的引擎，持续突破自动驾驶、AR导航、智慧交通等领域的技术边界。 团队gihub主页：https://github.com/amap-cvlab 为何加入我们？ 挑战世界级技术难题，追求智能上限 用AI驱动国民级APP的产品迭代和颠覆式创新 岗位职责： 团队主要聚焦多模态大模型技术在端到端自动驾驶的应用，我们期待你的工作将覆盖以下至少一个技术方向即可： 1. 在端到端自动驾驶、多模态大模型的训练及调优、BEV感知、基于深度学习/强化学习的规划控制、RLHF、驾驶场景视频生成等领域具备丰富且有独创性的研究经历。 2. 探索多模态大模型在下游任务中的技术能力，包括但不限于图文对齐/识别、跨模态理解生成、多模态检索、VLM端到端自动驾驶、世界模型等。 3. 了解大模型模型的训练/微调/推理加速方法，包括但不限于模型结构调优、训练效率提升、高效低成本微调、Muti-token推理，模型部署加速等。 4. 参与自动驾驶系统中机器学习算法的研究、开发与优化，包括但不限于深度学习算法在端到端感知大模型、规控大模型、视觉语言大模型等方面的应用。 5. 负责收集、整理和分析自动驾驶相关的数据集，进行数据预处理和标注，以提高模型的准确性和泛化能力。 6. 设计和实现端到端自动驾驶模型的训练流程，包括选择合适的优化算法、调整超参数、评估模型性能等，确保模型在不同场景下的稳定性和可靠性。
团队介绍：字节跳动搜索团队主要负责抖音、今日头条、西瓜视频等产品的搜索算法创新和架构研发工作。我们使用最前沿的机器学习技术进行端到端建模并不断创新突破，同时专注于分布式系统、机器学习系统的构建和性能优化，从内存、Disk等优化到索引压缩、召回、排序等算法的探索，充分给同学们提供成长自我的机会。主要工作方向包括：1）探索最前沿的NLP技术：从基础的分词、NER，到应用上的Query分析、基础相关性等，全链路应用深度学习模型，每个细节都充满挑战；2）探索跨模态匹配技术：在搜索中应用CV+NLP深度学习技术，让视频搜索拥有更强大的检索能力；3）探索大规模流式机器学习技术：应用大规模机器学习，解决搜索中的推荐问题，让搜索更加个性化更加懂你；4）探索千亿级数据规模的架构：从大规模离线计算，分布式系统的性能、调度优化，到构建高可用、高吞吐和低延迟的在线服务，方方面面都进行深入研究和创新。 1、探索搜索引擎与大模型、LLM、MLLM、多模态、机器学习、强化学习等前沿技术的结合，实现搜索引擎全链路革新并进行极致的系统优化，探索提升AI搜索引擎的能力，包含而不限于相关性、权威性、时效性、意图理解能力等；探索LLM适性索引、LLM相关性、生成式召回、排序大模型等； 2、构建大规模高质量数据（数据建设、数据抓取与解析、数据合成等）、训练和优化AI搜索的机器学习模型（多模态内容理解、指令微调、索引筛选、Query分析、Scalable Oversight、Long CoT、模型推理/规划、模型优化、构建全面客观准确的评测体系等）； 3、探索推进AI搜索、AIGC创新应用的落地（包含而不限于豆包、电商、抖音、智能硬件、AI找搭配/虚拟穿搭等大模型应用场景），研发以人工智能技术为核心的新技术、新产品，探索满足用户的智能交互需求，提升现实与物理世界的交互能力。
1.跟进多模态大模型的最新研究进展和技术实现（包括但不限于视频理解、视频问答、视频caption等），将多模态大模型内容理解能力与广告业务相结合，提升广告模型匹配效率 2.跟进和研发基于扩散模型的图像生成、视频生成等前沿技术，用于广告图片、视频等创意素材的内容生成 3.跟进和研发大语言模型LLM的指令微调、RLHF 等技术，结合广告业务场景落地关键词提取、智能对话、广告标题或文案生成等多个下游任务 4.结合上述多模态理解和AIGC生成能力，构建自动化素材生产和投放优化平台，挖掘站内优质内容，自动化编辑、剪辑制作素材，并基于数据驱动优化素材投前、投中环节的效果