小米顶尖应届-端侧大模型高性能推理研究工程师-小爱
任职要求
1. 计算机、人工智能、机器学习、电子信息、自动化、应用数学等相关方向硕士、博士学历，在NLP、CV、大模型方向有很好的理解； 2. 熟练掌握PyTorch、TensorFlow等至少一种常用…
工作职责
1.【低内存、低带宽】大模型低比特（1-3bit）量化创新算法； 2.【低内存、低带宽】端侧推理MoE或大参数量模型，解决占用大内存问题； 3.【高性能】端侧大模型高性能推理研究（比如：创新投机推理、硬件融合高性能计算、创新算法解决端侧prefill阶段的compute bound）。 【课题名称】 端侧大模型高性能推理计算 【课题内容】 研究大模型如何在端侧设备上（高通和自研F3芯片的算力、内存、带宽资源都严格约束，即使自研外挂的BW芯片也有内存强约束）进行高性能推理计算，同时保证模型算法效果满足业务需求、资源占用满足系统要求，有效解决云端大模型突出的隐私、成本问题。
1、创新应用和模型结构分析和建模：对新MoE模型，Transformer优化模型，非Transformer模型，语音模型，视觉模型进行计算特征，访存特征，通信特征分析建模； 2、推理系统优化技术：基于应用特征，自顶向下分析推理软件栈可优化手段，从推理调度，KV Cache管理，推理引擎，算子，并行切进行协同优化； 3、模型压缩：探索低精度损失的低比特量化（如INT4/INT2量化）或稀疏化等算法，缓解大模型推理计算与内存开销； 4、长序列优化：通过序列压缩、序列并行等算法，在有限的部署资源上（如单机）实现1M甚至10M长序列高效推理； 5、提供高性能轻量级AI推理引擎：分析当前CPU执行AI推理的性能瓶颈，通过先进AI算法技术（比如Sparsicity等）和编译优化技术（auto-tiling等)，结合BW芯片众核、大带宽、高矢量的架构特征，挑战性能天花板，推动AI4Compiler技术切实落地。 【课题名称】 大模型负载分析和推理系统优化。 【课题内容】 结合端侧设备的功耗、面积和实时性限制，探索自动优化方法研究，沉淀算子、模型及应用级优化方法，识别加速最优解决方案，并能够实施自动化化优化技术研究&应用。实现计算过程中的高效协同，发挥各类计算单元的有效算力；在算力墙、内存墙、通信墙等各维度平衡取舍发挥系统综合最优性能。
1.负责大模型在内的各类算法的移动端部署与优化； 2.负责移动端深度学习框架开发及算子优化； 3.不断挖掘移动芯片算力潜能，改良模型结构，实现业界领先的算法执行效能； 4.撰写相关论文，专利。 【课题名称】 端侧大模型效能优化 【课题内容】 解决大模型落地涉及的性能功耗内存限制，实现最高效的大模型推理方案。
1、负责大模型在内的各类算法的移动端部署与优化； 2、负责移动端深度学习框架开发及算子优化； 3、不断挖掘移动芯片算力潜能，改良模型结构，实现业界领先的算法执行效能； 4、撰写相关论文，专利。
T-Star计划是阿里巴巴淘天集团顶尖人才招聘和培养项目，继承“阿里星〞的使命与愿景，面向全球招募顶尖技术人才。首次开设实习生专项招聘，面向2025年10月后毕业的校优秀技术同学。期待你们在淘天，通过极具挑战的前沿课题与亿级规模的海量数据、应用场景，探索和实践最前沿的Al技术，在有价值的业务场景落地技术成果。 如果你，期望参与行业领先的3D商品建模方案，探索3D重建大模型算法，让手机拍摄稀疏图片高质量建模成为可能； 如果你，期望参与端侧实时3D真人数字人方案，探索人体重建、驱动和编辑算法，让构建数字人IP和用户数字分身轻松获取； 如果你，期望参与学术前沿的3D内容生成方案，探索基于3D模型的空间内容生成算法，让规模化生成制作3D内容触手可及； 如果你，期望参与基于苹果Vision Pro等新XR设备，发挥创意想法，探索下一个全民级的沉浸感体验应用； 如果你，期望将AI技术应用落地，转化为用户尖叫的产品体验，一起来吧； 那还犹豫什么，赶紧加入我们吧，你将与来自不同部门的优秀人才合作，不仅能够获得专业的培训和指导，还可以在工作中不断挑战自我，在职业生涯中不断成长和发展，享受工作中的乐趣和成就感。来吧，我们等你加入！ T-Star实习可以带给你什么？ ꔷ ①加入前沿技术探索队伍，参与顶级课题研究，有机会实现工业界项目落地。②跟企业大牛导师/学术界名导一起做有价值的课题。③丰富的技术资源、海量的数据与优秀的团队助力发paper ꔷ 投递T-Star实习生，提前解锁淘天顶级技术岗位，实习与T-Star正式批/应届秋招投递不冲突。拿到T-Star意向书的同时，将获得直通正式批次终面的机会；参与T-Star实习且表现优秀的同学，提供T-Star转正Offer。