百度计算机视觉及多模态算法实习生（J94318）
任职要求
-本科及以上学历在校生，计算机相关专业，可尽快到岗，线下实习4个月及以上，每周至少出勤4天 -在多模态和计算机视觉某个领域有较深入的研究，包括但不限于：OpenCV、图像分类识别、图像分割、目标检测、OCR、多模态、无监督和自监督学…
工作职责
-参与计算机视觉、文档处理分析相关技术研发，包括但不限于OCR文字识别、文档结构化、LLM训推等任务 -参与多模态大模型的算法方案调研、日常训练、微调与效果优化，确保模型训练的稳定性和效果 -支持大模型在各种实际业务中的落地，包括但不限于信息抽取、审查、图表解析等，确保其在真实场景中的有效应用 -参与大模型的日常评估和开发工作，推动其持续改进和性能提升，提高训练和推理效率 -与团队成员紧密合作，协同解决开发过程中遇到的问题和技术挑战
一句话描述：参与CV、及多模态核心算法研发，涉及视觉对抗、多模态智能体的深度创新和产品应用。 团队成员皆来源于国内外知名高校和企业，并在CVPR、ICCV、ACM MM等顶级会议发表多篇学术论文，鼓励发表前沿学术论文和工程落地，具有业界一流的实习生待遇； 1. 负责多模态大语言模型（MLLM）图文对齐，富文本图像理解，视觉问答（VQA)等领域的前沿研究； 2. 深入金融等垂类行业，在具体业务场景探索多模态大模型（MLLM）与智能体（Agent）前沿应用如GUI Agent、Chart/DocVQA、OCR-free与OCR融合理解； 3. 在导师指导下发表前沿学术论文，撰写专利。
1.设计和开发感知深度学习模型，围绕数据智能底层算法（例如主动学习、预训练、数据合成）的设计、开发和优化，提升算法在复杂环境（如光照变化、遮挡、恶劣天气）下的鲁棒性与精度； 2.系统性归纳和处理训练深度学习模型所需的数据集，搭建自动训练闭环，持续提升业务场景的覆盖和模型效果； 3.跟踪模型、算法在真机测试中的表现并处理相关问题； 4.系统性追踪扩散模型、世界模型等前沿技术演进，重点评估在长尾场景生成、策略仿真与风险预测中的技术可行性； 5.负责将AI工具与方法应用于算法研发全流程，提升开发效率与解决方案的智能化水平；
方向一： 负责针对相机的计算成像的算法原型研发和演进 1、参与OPPO系列手机拍照和视频ISP算法的设计开发，负责关键功能模块（降噪、超分、HDR、色彩影调、运动估计、对齐融合、语义分割）的开发与性能优化； 2、参与OPPO系列手机拍照和视频人像优化算法的设计开发，负责人像肤质优化、肤色优化、美颜等算法的开发与性能优化； 3、 参与OPPO系列手机3A算法设计和开发，包括白平衡（AWB）、自动对焦（AF）、自动曝光控制（AE）算法的开发和性能优化； 4、多摄像头、多传感器算法，如双目对齐、双目深度估计、RGBD深度图优化、bokeh渲染，IMU去噪、IMU/Camera标定、OIS/EIS视频防抖路径规划、基于视觉&IMU的视频插帧/deblur算法的开发和演进； 方向二： 1.模型性能分析与优化 1)负责影像端侧模型性能分析与调优，包括推理速度、内存占用、功耗等关键指标优化； 2)设计并优化量化、剪枝、蒸馏等模型压缩技术，推动算法在移动端的高效部署； 3)针对GPU/NPU/DSP等硬件特性模型结构，识别模型运行中的瓶颈并提出改进方案，提升端侧推理效率。 2.技术预研与落地 1)跟踪行业前沿技术（如大模型端侧优化、模型压缩等），完成技术验证并推动业务落地； 2)协同算法团队优化模型架构，平衡性能与精度需求。 3)与硬件、系统框架团队合作，优化底层驱动及系统资源调度策略，提升模型运行效率； 方向三： 1.协助屏显相关算法的porting落地; 2.协助进行屏显效果的调试; 3.协助进行屏显算法的优化。
蚂蚁技术研究院交互智能实验室视觉团队旨在探索计算机视觉领域的前沿技术，涵盖基础视觉生成模型、多模态模型、多模态语义对齐、三维重建、渲染与生成、室内定位与导航、智能决策、人机交互等多个技术方向。