腾讯音乐腾讯音乐美颜图像算法研究员
作为核心算法成员,参与AI图像相关算法研发,主要服务于下一代智能相册系统。主要工作包括: 一、图像理解方向: 1)开发基于多模态语义的图像理解算法:人物识别、事件聚类、情绪识别、场景识别等;构建个性化的图像语义标签体系; 2)设计图像内容质量评估模型(重复、模糊、人脸表情等)提升用户体验; 3)探索RAG、多模态图像大模型、文本大模型联动下,agent能力建设和开发。 二、 图像AIGC方向(创作与编辑): 1)研究并实现图像生成与编辑算法,如背景替换、人像美化、风格迁移、文生图,图生图等; 2)参与基于 Diffusion基础模型训练; 3)参与ControlNet、Inpainting、aigc编辑大模型等前沿应用模型的业务开发和落地;
方向一: 1.负责针对相机的计算成像的算法原型研发和演进 - 基础图像算法如3R(NoiseReduction, SuperResolution, HDR), 多帧多摄等; - 图像后处理算法如美颜、色彩映射,图像渲染等; - 软硬件结合图像算法如ISP(image signal processor)算法的开发调优、白平衡、自动对焦、自动曝光控制,色彩还原,多摄立体视觉,防抖算法的迭代进化等; 2.AI技术应用影像业务,利用机器学习,深度学习,模型压缩及小型化等前沿技术,解决low-level画质处理,语义理解等多领域核心问题,整体提升用户体验和业务价值; 3.针对android平台和手机soc芯片的图像处理算法架构设计的基础研究,实现全链路影像处理链路的端到端性能最优设计;针对图像/视频效果进行标准定义和定量评测的理论研究; 4.对于前沿技术的动态进行追踪,主导高校产学研合作或供应商技术合作,实现新的影像算法领域探索和技术创新。 方向二: 1.模型性能分析与优化 1)负责影像端侧模型性能分析与调优,包括推理速度、内存占用、功耗等关键指标优化; 2)设计并优化量化、剪枝、蒸馏等模型压缩技术,推动算法在移动端的高效部署; 3)针对GPU/NPU/DSP等硬件特性模型结构,识别模型运行中的瓶颈并提出改进方案,提升端侧推理效率。 2.技术预研与落地 1)跟踪行业前沿技术(如大模型端侧优化、模型压缩等),完成技术验证并推动业务落地; 2)协同算法团队优化模型架构,平衡性能与精度需求。 3)与硬件、系统框架团队合作,优化底层驱动及系统资源调度策略,提升模型运行效率;
1.负责针对相机的计算成像的算法原型研发和演进 - 基础图像算法如3R(NoiseReduction, SuperResolution, HDR), 多帧多摄等; - 图像后处理算法如美颜、色彩映射,图像渲染等; - 软硬件结合图像算法如ISP(image signal processor)算法的开发调优、白平衡、自动对焦、自动曝光控制,色彩还原,多摄立体视觉,防抖算法的迭代进化等; 2.AI技术应用影像业务,利用机器学习,深度学习,模型压缩及小型化等前沿技术,解决low-level画质处理,语义理解等多领域核心问题,整体提升用户体验和业务价值; 3.针对android平台和手机soc芯片的图像处理算法架构设计的基础研究,实现全链路影像处理链路的端到端性能最优设计;针对图像/视频效果进行标准定义和定量评测的理论研究; 4.对于前沿技术的动态进行追踪,主导高校产学研合作或供应商技术合作,实现新的影像算法领域探索和技术创新。
地点:深圳/杭州/南京 作为核心算法成员,参与AI图像相关算法研发,主要服务于下一代智能相册系统。主要工作包括: 一、图像理解方向: 1)开发基于多模态语义的图像理解算法:人物识别、事件聚类、情绪识别、场景识别等;构建个性化的图像语义标签体系; 2)设计图像内容质量评估模型(重复、模糊、人脸表情等)提升用户体验; 3)探索RAG、多模态图像大模型、文本大模型联动下,agent能力建设和开发。 二、 图像AIGC方向(创作与编辑): 1)研究并实现图像生成与编辑算法,如背景替换、人像美化、风格迁移、文生图,图生图等; 2)参与基于 Diffusion基础模型训练; 3)参与ControlNet、Inpainting、aigc编辑大模型等前沿应用模型的业务开发和落地;