蚂蚁金服计算机视觉前沿技术探索

1.设计和开发感知深度学习模型，围绕数据智能底层算法（例如主动学习、预训练、数据合成）的设计、开发和优化，提升算法在复杂环境（如光照变化、遮挡、恶劣天气）下的鲁棒性与精度； 2.系统性归纳和处理训练深度学习模型所需的数据集，搭建自动训练闭环，持续提升业务场景的覆盖和模型效果； 3.跟踪模型、算法在真机测试中的表现并处理相关问题； 4.系统性追踪扩散模型、世界模型等前沿技术演进，重点评估在长尾场景生成、策略仿真与风险预测中的技术可行性； 5.负责将AI工具与方法应用于算法研发全流程，提升开发效率与解决方案的智能化水平；

方向一： 负责针对相机的计算成像的算法原型研发和演进 1、参与OPPO系列手机拍照和视频ISP算法的设计开发，负责关键功能模块（降噪、超分、HDR、色彩影调、运动估计、对齐融合、语义分割）的开发与性能优化； 2、参与OPPO系列手机拍照和视频人像优化算法的设计开发，负责人像肤质优化、肤色优化、美颜等算法的开发与性能优化； 3、 参与OPPO系列手机3A算法设计和开发，包括白平衡（AWB）、自动对焦（AF）、自动曝光控制（AE）算法的开发和性能优化； 4、多摄像头、多传感器算法，如双目对齐、双目深度估计、RGBD深度图优化、bokeh渲染，IMU去噪、IMU/Camera标定、OIS/EIS视频防抖路径规划、基于视觉&IMU的视频插帧/deblur算法的开发和演进； 方向二： 1.模型性能分析与优化 1)负责影像端侧模型性能分析与调优，包括推理速度、内存占用、功耗等关键指标优化； 2)设计并优化量化、剪枝、蒸馏等模型压缩技术，推动算法在移动端的高效部署； 3)针对GPU/NPU/DSP等硬件特性模型结构，识别模型运行中的瓶颈并提出改进方案，提升端侧推理效率。 2.技术预研与落地 1)跟踪行业前沿技术（如大模型端侧优化、模型压缩等），完成技术验证并推动业务落地； 2)协同算法团队优化模型架构，平衡性能与精度需求。 3)与硬件、系统框架团队合作，优化底层驱动及系统资源调度策略，提升模型运行效率； 方向三： 1.协助屏显相关算法的porting落地; 2.协助进行屏显效果的调试; 3.协助进行屏显算法的优化。

1、探索高斯泼溅等技术在空间计算和推理的应用，包括但不限于相机位姿可控的新视角合成、构图等 2、参与上述算法相关的数据预处理、模型训练与调优；参与模型轻量化、端侧化、推理加速等任务，以提升算法推理效率 3、复现前沿论文，结合业务场景改进算法；撰写技术文档，协助算法部署与效果验证；业务牵引，探索前沿技术，如：World Model、VLA等，形成论文

岗位概述 负责深度学习、计算机视觉及 AIGC 方向的算法研究与工程落地，涵盖图像/视频的生成、编辑、增强、分割、重建等核心视觉技术。你将跟踪前沿学术进展，将研究成果转化为真实可用的产品能力。 职责描述 - 跟踪并探索 CV/AIGC 前沿技术，参与将相关技术应用到图像/视频生成、编辑、增强或视觉内容理解任务，持续提升模型效果 - 参与视觉模型（如 Diffusion Models、GAN、ViT 等）的算法设计、模型训练、微调与性能优化，推动下游影像功能落地 - 针对实际应用场景，设计并优化算法效果、效率与鲁棒性 - 核心代码实现，输出 Demo 或 SDK，根据产品反馈迭代优化 - 研究领域最新技术，撰写技术专利或论文（如有机会） 任职资格 - 计算机科学、人工智能、电子信息、数学等相关专业，硕士及以上学历（特别优秀的本科生亦可） - 具备 CV 相关研究或项目经验，熟悉图像生成、分割、目标检测、人脸/人体技术或视频处理等至少一个子领域 - 熟练掌握 Python，熟悉 PyTorch 等深度学习框架，良好的数学与编程基础 - 对 AI 技术充满热情，熟练使用各种 AI 提效工具，持续关注 AIGC 前沿研究 - 具备良好的沟通能力和团队协作精神 加分项 - 在 CVPR、ICCV、ECCV、NeurIPS 等 CV/ML 相关顶级会议或期刊发表论文 - 了解 C++ 并有相关工程实践经验 ▸ Overview You'll work at the intersection of deep learning, computer vision, and AIGC research — bringing cutting-edge techniques, from image generation and video editing to segmentation and reconstruction, into real products. ▸ Responsibilities - Track and explore the latest CV/AIGC research; apply breakthroughs to image/video generation, editing, enhancement, and visual understanding tasks - Contribute to the design, training, fine-tuning, and optimization of visual models (Diffusion Models, GANs, ViT, etc.); drive downstream feature deployment - Design and optimize algorithms for real-world scenarios — focusing on effectiveness, efficiency, and robustness - Implement core algorithms; deliver demos or SDKs; iterate based on product feedback - Stay current with research trends; contribute to patents or publications when opportunities arise ▸