小米顶尖应届-软硬件协同开发工程师(SOC)-芯片
任职要求
1.具备计算机科学、软件工程、系统架构设计或嵌入式系统等相关专业博士学位; 2.精通多核/异构系统架构与嵌入式软件开发,具备SoC级任务编排算法或动态资源调度研究背景者优先; 3.拥有系统级优化与算法设计复合…
工作职责
1.参与SoC智能调度引擎开发,突破多核异构SoC能效瓶颈,实现设备续航提升20%-30%+; 2.研发基于AI预测模型的动态调度框架,完成CPU/NPU/GPU/DSP混合计算单元毫秒级资源切换与三维能效评估; 3.设计指令级功耗建模工具与自适应DVFS算法,提升典型用户场景10%+的能效提升; 4.深度协同澎湃芯片及小米全栈技术生态,覆盖手机/汽车/机器人等亿级设备,技术成果直通国际顶会转化通道。 【课题名称】 端侧高效整机性能&能效优化技术研究 【课题内容】 小米玄戒芯片能效优化与智能调度体系研究课题背景: 面对手机/汽车/机器人等多场景的极端能效需求,玄戒SoC芯片需突破多核异构的能效瓶颈,通过智能调度引擎与AI驱动的功耗建模技术,构建"芯片+系统+生态"的三维能效优化体系。结合澎湃系列芯片低功耗研发经验(硬件利润率≤5%原则)及AI实验室全栈技术积累,实现续航提升20%-30%+的行业领先能效比,技术成果直通国际顶会转化通道。 挑战: 1. SoC异构计算单元智能调度引擎开发 - 构建基于AI预测模型的动态调度框架,实现CPU/NPU/GPU/DSP混合计算单元的毫秒级资源切换与负载均衡。 - 设计多目标优化算法,在典型用户场景(如多模态交互、自动驾驶感知)中达成计算资源利用率与能效比的协同提升。 2. 指令级功耗建模与自适应能效调控 - 开发面向玄戒O1架构特征的指令级功耗建模工具链,建立微架构-指令-场景的三维能效评估体系。 - 研发自适应DVFS算法与异构缓存协同机制,确保在影像处理、边缘推理等典型场景下实现10%+能效增益。 3. 全栈技术生态协同优化 - 深度整合澎湃芯片家族(C1/G1/S1)的异构调度能力,构建覆盖MIUI系统、车载OS、机器人OS的统一能效优化方案。 - 设计可扩展的调度框架,支持手机/汽车/机器人等设备的差异化能效需求,推动技术方案在IEEE/ACM等顶会的成果转化。
1、创新应用和模型结构分析和建模:对新MoE模型,Transformer优化模型,非Transformer模型,语音模型,视觉模型进行计算特征,访存特征,通信特征分析建模; 2、推理系统优化技术:基于应用特征,自顶向下分析推理软件栈可优化手段,从推理调度,KV Cache管理,推理引擎,算子,并行切进行协同优化; 3、模型压缩:探索低精度损失的低比特量化(如INT4/INT2量化)或稀疏化等算法,缓解大模型推理计算与内存开销; 4、长序列优化:通过序列压缩、序列并行等算法,在有限的部署资源上(如单机)实现1M甚至10M长序列高效推理; 5、提供高性能轻量级AI推理引擎:分析当前CPU执行AI推理的性能瓶颈,通过先进AI算法技术(比如Sparsicity等)和编译优化技术(auto-tiling等),结合BW芯片众核、大带宽、高矢量的架构特征,挑战性能天花板,推动AI4Compiler技术切实落地。 【课题名称】 大模型负载分析和推理系统优化。 【课题内容】 结合端侧设备的功耗、面积和实时性限制,探索自动优化方法研究,沉淀算子、模型及应用级优化方法,识别加速最优解决方案,并能够实施自动化化优化技术研究&应用。实现计算过程中的高效协同,发挥各类计算单元的有效算力;在算力墙、内存墙、通信墙等各维度平衡取舍发挥系统综合最优性能。
团队介绍: 高德地图机器学习研发部是公司AI核心技术引擎,聚焦多模态大模型、视频生成与理解、图像编辑与生成等前沿领域。团队深耕人工智能技术落地,支撑亿级用户产品,同时长期投入前沿探索,在NeurIPS/ICLR/CVPR/ACL等顶会发表多篇论文,多项成果入选“最有影响力论文”榜单。我们拥有海量数据与算力资源,鼓励创新突破,诚邀你与顶尖算法专家并肩,共同定义AI的未来!如果你渴望挑战多模态与生成式AI的技术巅峰,在视频、图像、大模型的交叉领域实现突破,欢迎加入我们!团队的github页面是:https://github.com/AMAP-ML/ 我们提供 • 参与亿级用户产品的AI核心算法研发,见证技术直接赋能业务; • 与学术大牛和工业界专家共事,持续提升技术视野; • 顶配算力资源+开放创新氛围,支持前沿探索与顶会论文发表。 具体职责包括但不限于: 1. 视频生成:负责视频生成技术的前沿技术的研究,对AIGC的diffusion和auto-regressive技术有深入了解,在T2I/AIGCT2V/I2V上面有一定的研究,图文对齐,长视频生成等有一定的研究,做好视频生成在高德业务(广告,POI详情页等)中的进行落地。 2. 视频理解:能够使用和优化多模态大模型对用户上传的视频进行质量理解,标签,densecaption,视频summary等生成,作用到视频的搜索,广告,推荐等业务的落地。 3. 世界模型: 参与世界模型的构建,能够使用最新的视频生成技术,3D技术等构建符合人类物理规律的统一的世界模型,在高德的业务进行落地。 4. 紧跟技术前沿和技术沉淀,形成顶会论文和专利。
-负责在影视视效和虚拟拍摄上研发先进的CG特效落地方案,包括但不限于流体、肌肉、群集等方向 -与美术团队、动画师紧密合作,将算法集成到现有的影视制作流程中,确保算法的实用性和视觉效果达到顶尖水平 -优化算法性能,提升计算效率,满足影视制作的实时和高质量渲染需求