小米顶尖应届-图像算法工程师（视频增强方向）-相机

1. 参与相机影像画质增强领域的深度学习或传统算法研发工作，包括但不限于HDR视频增强、颜色复原、影调优化、肤色矫正等任务； 2、结合产品需求，参与算法在芯片上的设计、开发和优化，解决算法产品化过程中的各种技术难题； 3、跟进特定领域的行业进展，并结合产品对算法进行优化，使相关产品效果达到业界领先水平。 【课题名称】 芯片影像画质增强算法研究 【课题内容】 芯片ISP影像画质增强方向，包括但不限于HDR视频增强、颜色复原、影调优化、肤色矫正等任务，探索算法在移动端低功耗的落地方案，以及核心算子硬化、AI和ISP联合设计等关键技术。

1. 参与相机影像应用领域的算法研发工作，包括但不限于HDR视频增强、颜色复原、影调优 化、肤色矫正等方向，参与和主导上述模型在自研芯片平台上的设计、开发与优化。 2. 与产品深度沟通，参与新一代手机影像应用类产品的方案设计，并为算法产品化过程中 出现的各类技术难题出谋划策。 3. 跟进对应领域最新行业进展，结合产品规划对算法进行探索与预研。

T-Star计划是阿里巴巴淘天集团顶尖人才招聘和培养项目，继承“阿里星〞的使命与愿景，面向全球招募顶尖技术人才。首次开设实习生专项招聘，面向2025年10月后毕业的校优秀技术同学。期待你们在淘天，通过极具挑战的前沿课题与亿级规模的海量数据、应用场景，探索和实践最前沿的Al技术，在有价值的业务场景落地技术成果。 在这里，你将参与贡献大型电商场景下与音视频体验和成本相关的一系列研发工作；

 在这里，你将参与视频编码（包括但不限于HEVC/VVC）优化：通过基于信号处理和机器学习的快速编码决策、数据结构、并行框架设计，优化编码速度，同时在有竞争力的视频编码内核基础上，探索基于语义的内容感知编码优化，深度学习编码，AIGC编码等前沿课题，在保障画质体验的前提下，尽可能节省带宽；

 在这里，你将参与海量图像和视频的增强修复工作：运用前沿技术，包括但不限于模型结构优化、数据仿真和增强策略优化、知识蒸馏以及模型压缩，在限定带宽环境对任意失真的视频进行高效处理，力求最好的画质。同时，跟踪业界最新进展和技术趋势（包括AIGC）并融入特定的场景，提出创新方案，帮助平台提供逼近广电级别的视频画质；

 在这里，你将参与视频编码与处理联合优化：在标准编码框架的基础上，借助AI领域的新技术成果来研究视频信号的表征、编码与处理，将视频前后处理与编码联合优化，提升端到端压缩效果； 在这里，你将参与美颜等视频美化技术的研究工作，包括人脸检测、关键点、肤色美白、面部塑形、化妆效果模拟等。这些技术将应用于直播和短视频等多样化场景，并确保其在真实视频场景的有效整合。你还将专注于基于3D人脸建模和AI算法的智能美颜技术，推动这些技术的大规模落地； 在这里，你将参与UGC视频生产剪辑依赖的多类当下最前沿的图像视频生成与编辑，包括图像风格化，人像分割与实例分割，人脸属性，图像可控生成，图像视频化等，为视频剪辑提供更丰富的素材和更多的玩法；

 在这里，你将有机会参与最前沿的音视频质量评价算法工作，包括无参考的视频质量评价，人脸美学评价，音频质量评价，为多媒体算法的迭代和平台音画质的体验提供基础工具；
 在这里，你将帮助淘宝直播等大型的视频传输场景设计QoS算法，追求超低延时、极速播放等用户体验，并支持各种弱网环境下的最优的视频流畅度和优雅的画质降级。 T-Star实习可以带给你什么？ ꔷ ①加入前沿技术探索队伍，参与顶级课题研究，有机会实现工业界项目落地。②跟企业大牛导师/学术界名导一起做有价值的课题。③丰富的技术资源、海量的数据与优秀的团队助力发paper ꔷ 投递T-Star实习生，提前解锁淘天顶级技术岗位，实习与T-Star正式批/应届秋招投递不冲突。拿到T-Star意向书的同时，将获得直通正式批次终面的机会；参与T-Star实习且表现优秀的同学，提供T-Star转正Offer。

1. 研发端到端全模态理解和推理大模型核心技术，在模型结构、对齐策略、指令微调、偏好对齐、多阶段渐进式学习训练策略、推理能力增强（关系推理、因果推理、常识推理）等方面做出创新突破，达到业内一流； 2. 研发视觉理解和推理大模型核心技术，在图像理解，视频理解，视觉推理能力增强（关系推理、因果推理、常识推理），GUI屏幕感知和推理、端到端图像翻译等方向创新突破，达到业内一流； 3. 优化语音识别大模型的上下文感知能力，通过送入交互历史信息提升语音识别准确率；优化语音识别大模型的热词感知能力，通过送入相关热词提升语音识别准确率；优化语音多模态理解大模型的SpeechEncoder，提升语音理解大模型的语音理解能力和声音理解能力，包括语音内容、情感、性别、声音事件、音乐风格等；在用户跟智能体对话的过程中，检测用户的表达完整性，从而加快系统响应速度且不带来更多的误截断；在语音对话模型中，检测用户交互的对象，从而提升打断的有效性和系统交互的响应速度； 4. 端到端全模态理解和推理、视觉理解、语音理解等，建立比较广泛的业界影响力，论文引用数300+、主流算法竞赛/排行榜TOP1、开源Star 2000+等； 5. 端到端全模态理解和推理、视觉理解、语音理解等，落地在小米核心业务场景，提升核心产品竞争力和用户智能体验，包括手机（OS/小爱）、汽车、生态链等。 【课题名称】 端到端全模态理解和推理大模型研究与应用 【课题内容】 1. 研究端到端全模态理解和推理大模型的核心技术，产出突破性成果，在小米核心业务场景落地；输入文本、图像、视频、语音等模态，输出文本、语音等模态；探索全模态信息感知能力；探索全模态混合推理思维链；探索全模态思维强化； 2. 研究视觉理解和推理的核心技术和应用，包括图像理解与推理、长视频理解与推理、屏幕感知和端到端图像翻译等； 3. 研究语音理解大模型的感知关键技术，包括有效利用场景、上下文、个性化信息更好的进行音频内容的转写以及副语言信息的提取，用户表述完整性检测等，提升流式交互系统的响应速度和理解准确性等。