阿里巴巴算法工程师-视频增强与AI处理
任职要求
【必备项】 1、本科及以上学历,有较好的工程实现能力,精通C/C++、Python等至少一门编程语言; 2、良好的数据基础、较强的逻辑分析能力; 3、学习能力强,对AI有充满热情,对新事物保有好奇心,并能快速适应新环境;…
工作职责
在这里,你将参与淘宝直播及短视频等丰富的内容业务场景,围绕“更清晰、更好看、更好玩”,和其他优秀的同学一起,为用户提供极致的体验; 在这里,你将负责为用户提供最优的画质,负责视频增强相关算法研发,包括但不限于视频去压缩伪影、视频去噪、色彩增强、视频去抖、视频去模糊、超分辨率、视频插帧等算法; 在这里,你将负责人脸美化相关算法研发,包括但不限于检测、关键点、生成、分割等算法; 在这里,你将负责特效互动相关算法研发,包括但不限于人脸、人体、人手、物体相关2D和3D等算法; 在这里,你将会持续关注相关领域的前沿算法,并针对实际场景进行优化,把算法落地应用到实际项目中。 加入我们,你将会面对新的内容场景,通过技术深耕,致力于行业领先的音视频技术创新和应用,帮助创造极致的消费者体验。你的工作将服务于改善全世界数十亿人的购物、娱乐和交互的体验。探索未知,挑战未来,来吧,我们等你加入!
阿里云持续推进AI 技术深化战略布局, 围绕AI 和云计算的基础设施建设、AI基础模型平台、企业级AI应用方向构建核心场景。为此,我们正积极招募优秀人才: 具体职责包括但不限于: 1、视频编码(包括但不限于HEVC/VVC)优化:通过对主流视频编码标准的最优化实现满足不同业务场景对压缩效率,编码速度,编解码延时的需求。相关优化算法包括编码器快速算法,智能编码,码率控制,场景编码,ROI,JND编码等; 2、视频处理算法在直播和短视频等场景的研究和落地:包括但不限于视频去压缩伪影、视频去噪、视频去抖、视频去模糊、纹理效果提升、超分辨率、视频插帧等。以及针对直播成像侧的拍摄质量增强,探索提升主观体验的方法; 3、视频质量评价(VQA)优化:包括但不限于传统和AI的视频质量主客观评价方法的改进和优化,搭建多维度端和云侧视频质量评估框架,联合编码和处理实现最优的画质体验; 4、超低带宽的视频压缩与增强:针对超低带宽场景下,探索针对信号处理和语义的信息论极限; 5、视频编码与处理联合优化:在标准编码框架的基础上,借助AI领域的新技术成果来研究视频信号的表征、编码与处理,将视频前后处理与编码联合优化,提升端到端压缩效果; 6、面向人眼视觉模型的编解码和视频增强技术研究:将视频编码增强与质量评价相结合,提升人眼主观体验; 7、H.266/VVC之后的下一代视频编码标准,包括智能编码相关算法研究; 8、为VR/AR等新兴应用设计和实施新颖的视频处理、编码和质量评估算法,以推动端到端系统体验优化。
1.负责研究视频领域的前沿AI算法模型,包括视频增强与处理、LLM多模态,aigc等方向; 2.深入研究机器学习、深度学习等领域的前沿技术,结合视频业务需求进行技术创新,模型加速和应用开发; 3.跟踪并分析国内外最新的人工智能科研进展,引导团队的研究方向。
1. 参与视频AI Deblur算法的设计、训练与优化; 2. 构建大规模模糊视频数据集,完成数据标注与预处理; 3. 跟踪领域前沿技术(如Transformer、扩散模型),探索创新方案; 4. 协助模型在手机端部署与性能调优; 5. 撰写技术文档与论文,推动成果落地至小米核心产品线。 【课题名称】 视频AI Deblur 【课题内容】 研究并开发基于深度学习的视频去模糊算法,解决动态模糊、运动模糊等视频质量退化问题,提升视频清晰度与用户体验。技术方向包括但不限于:时空特征融合、多帧对齐与重建、轻量化模型部署、端到端优化等,目标为实现行业领先的实时视频修复能力。
1. 遥操作系统开发: ‒ 设计并实现机器人遥操作系统的核心功能,包括实时控制、低延迟通信和人机交互模块; ‒ 开发和优化远程控制算法,确保系统的响应速度和精确性。 2. 通讯与数据传输: ‒ 实现高效的远程通信协议(如TCP/IP、UDP、WebRTC),优化数据传输的低延迟和高可靠性; ‒ 处理远程视频流传输、传感器数据融合以及控制信号反馈。 3. 系统集成: ‒ 集成机器人硬件(如机械臂、移动平台、无人机)与遥操作软件模块; ‒ 实现机器人与远程操作终端之间的无缝交互。 4. 人机交互开发: ‒ 开发直观的遥操作界面(GUI)或VR/AR交互系统,提升用户的操作体验; ‒ 设计力反馈、触觉反馈等增强操控感知的功能。 5. 仿真与测试: ‒ 基于仿真工具(如Gazebo、V-REP、Unity)设计并测试遥操作系统; ‒ 在实际场景中测试系统性能,确保其稳定性和可靠性。 6. 系统优化与迭代: ‒ 分析遥操作过程中出现的问题,优化系统性能; ‒ 实现智能化辅助功能(如路径规划、碰撞检测、自动校准等)。 7. 技术文档撰写: ‒ 编写清晰的技术文档,包括设计方案、开发流程和操作手册; ‒ 为团队成员提供技术支持与培训。