咪咕AI算法工程师(视频内容理解方向)
任职要求
1. 学历与专业:硕士研究生及以上学历,计算机科学、人工智能、计算机视觉、机器学习等相关专业。 2. 技术背景:扎实的计算机视觉与深度学习理论基础,熟练掌握Python和主流深度学习框架(如PyTorch/TensorFlow)。 3. 深刻理解目标检测、目标跟踪、动作识别、视频事件检测等核心视觉算法原理,具备相关模型(如YOLO系列、CNN-based、Transformer-based视频理解模型等)的研发与调优经验。 4. 熟悉视频处理流程与优化技…
工作职责
作为AI智慧观赛产品团队的核心算法成员,负责驱动体育赛事视频内容理解技术的研发与创新。目标是让系统精准、实时地识别赛事中的核心元素与关键事件,为AI智能解说、多维赛场智瞰等核心功能提供高质量底层数据支撑,最终打造业界领先的AI观赛体验。 1. 核心视觉模型研发:负责体育赛事视频理解核心模型的构建、训练与优化,重点研究实时目标检测与跟踪(球员、球、裁判、场地标识等)、行为动作识别(射门、传球、运球、击球等)、关键事件检测(进球、犯规、得分、暂停等)技术,确保赛事核心信息捕获的准确性与实时性。 2. 多场景适配与鲁棒性优化:针对足、篮、乒等不同赛事的运动特性、场地规则差异,以及光照变化、遮挡、快速运动模糊等复杂场景,优化模型的泛化能力与鲁棒性,保障跨赛事、跨场景的稳定识别效果。 3. 视频语义信息提取:设计并实现赛事结构化数据生成方案,从视频流中提取球员轨迹、攻防转换节奏、战术阵型变化等语义信息,将原始视频数据转化为可被大模型理解的结构化特征与事件标签。 4. 实时性与工程化落地:优化模型推理速度与资源占用,结合TensorRT等推理加速框架,实现视频理解算法的端到端高效部署,满足赛事直播
在淘宝,每天有数以亿计的用户通过直播、短视频和图片等方式进行消费决策,清晰、流畅和富有表现力的内容,已成为连接商家与消费者的核心桥梁。然而,一方面,海量UGC、AIGC内容普遍存在低分辨率、压缩模糊、颜色失真等画质问题,另一方面,平台与商家亟需AI处理手段对优质内容进行高效裂变。因此,我们需要基于生成式AI,彻底重构淘宝视频画质增强与处理算法,并希望亲手打造影响亿万人的产品体验。淘宝音视频团队,正等待你的加入!用AI之眼,看见清晰未来! 如果你,期望参与淘天集团海量文本、图像、视频、音频等处理、理解与生成的算法研究和产品开发,赶快加入我们吧。 1、我们将持续迭代图像、视频画质修复与增强模型,引入最新的多模态能力,将算法大规模落地在电商场景,提升淘宝直播视频,短视频,图片的画质体验; 2、我们会探索AIGC方向的前沿技术,打磨SOTA垂域生成模型,并端到端的提升下游应用效果,为电商场景提供视频生产、视频增强处理、音视频二创等产品能力; 3、有海量的业务数据以及充足的算力资源,来面对具有挑战性的业务场景和学术任务; 4、你将和聪明、皮实、乐观、自省、追求卓越和自我驱动的优秀战友一起,共同开创视觉技术的新格局。
1、从事AIGC领域的算法探索和落地开发,负责项目规划与前沿技术推进;负责视觉生成基础模型的框架设计与预训练,以及面向实际应用的优化; 2、研发方向包括但不限于图像/视频/3D图形的生成,重点解决低成本、高品质生成以及可控编辑等关键问题。
1、负责视频生成大模型输出视频的后处理超分算法研究与开发,优化生成模型的高清画质; 2、深入研究前沿的视频画质增强算法,结合可灵视频基础模型探索并持续优化符合AIGC数据特点的超分方案; 3、深入研究更高效的模型结构设计和推理步数加速算法,提升模型在实际业务场景的性能和效率; 4、撰写高质量技术报告与论文,与团队共同推动技术创新,保持行业领先地位。
1、负责多模态视频生成模型的 RLHF 数据体系建设与工程落地,围绕运动质量、文本对齐、画面稳定性、风格一致性等核心业务指标,构建可规模化、可迭代的数据生产与交付流程; 2、设计并实现面向视频生成的 偏好建模与 Reward 机制,将主观质量(美感、合理性、符合指令等)转化为稳定、可优化的训练信号,推动模型在真实场景中的持续提升; 3、在生产环境中落地 DPO / GRPO / ReFL / PPO 等后训练与强化学习方法,结合数据策略与算法设计,提升模型效果并控制训练成本与稳定性; 4、深度对齐业务目标(如生成质量、用户满意度、场景可用性、内容安全等),以 “数据 + 算法 + 评测”闭环驱动模型迭代,对关键指标提升结果负责; 5、与算法、工程、数据、产品及运营团队紧密协作,建设 自动化数据管线、评测与回归体系,确保 RLHF 能在多模型、多版本中稳定复用与规模化落地。