小米顶尖应届-大模型训练与推理研究员-MiMo
任职要求
1、精通机器学习(深度学习),具备卓越的创新研究能力,充满对未知领域的好奇心,热衷于探索前沿技术边界; 2、编程能力出色,熟练掌握至少两种编程语言,精通Pytorch/Tensorflow,能够将创造性想法快速转化为高效代码; 3、研究成果丰富,在国际顶级会议或期刊(如NeurIPS、ICLR、ACL、CVPR、COLT等)发表高…
工作职责
1、设计和实现支持大规模分布式训练的集群和框架; 2、 构建高效的推理框架和算子优化,支持超大规模模型的在线和离线推理需求; 3、研究PD分离、Context Caching、模型量化、推敲编码等推理优化技术。
将围绕多模态(文本、图像、音频、视频)理解和生成统一的基座大模型的数据、模型结构、统一建模方式、训练与推理优化、深度推理等核心问题展开研究,具体研究内容包括: 1、多模态(文本、图像、音频、视频)数据的收集、合成及数据策略,提升质量、多样性、可扩展性; 2、 探索多模态理解与生成统一的建模方式; 3、多模态模型的模型结构的设计与优化,高效的大规模分布式训练和推理系统(云侧和端侧); 4、 研究多模态模型的深度推理范式。
参与大语言模型的核心技术研发,包括但不限于: 1、预训练优化(数据合成、长上下文建模、训练动力、scaling laws分析); 2、后训练技术(强化学习、奖励模型、推理能力提升); 3、代码生成与理解(自动化数据构建、运行反馈优化); 4、模型架构创新(MoE、高效推理、稳定性优化); 5、 探索AI Agent、长序列推理、在线学习等新兴方向。
团队介绍: 高德地图机器学习研发部是公司AI核心技术引擎,聚焦多模态大模型、视频生成与理解、图像编辑与生成等前沿领域。团队深耕人工智能技术落地,支撑亿级用户产品,同时长期投入前沿探索,在NeurIPS/ICLR/CVPR/ACL等顶会发表多篇论文,多项成果入选“最有影响力论文”榜单。我们拥有海量数据与算力资源,鼓励创新突破,诚邀你与顶尖算法专家并肩,共同定义AI的未来!如果你渴望挑战多模态与生成式AI的技术巅峰,在视频、图像、大模型的交叉领域实现突破,欢迎加入我们!团队的github页面是:https://github.com/AMAP-ML/ 我们提供 • 参与亿级用户产品的AI核心算法研发,见证技术直接赋能业务; • 与学术大牛和工业界专家共事,持续提升技术视野; • 顶配算力资源+开放创新氛围,支持前沿探索与顶会论文发表。 具体职责包括但不限于: 1. 视频生成:负责视频生成技术的前沿技术的研究,对AIGC的diffusion和auto-regressive技术有深入了解,在T2I/AIGCT2V/I2V上面有一定的研究,图文对齐,长视频生成等有一定的研究,做好视频生成在高德业务(广告,POI详情页等)中的进行落地。 2. 视频理解:能够使用和优化多模态大模型对用户上传的视频进行质量理解,标签,densecaption,视频summary等生成,作用到视频的搜索,广告,推荐等业务的落地。 3. 世界模型: 参与世界模型的构建,能够使用最新的视频生成技术,3D技术等构建符合人类物理规律的统一的世界模型,在高德的业务进行落地。 4. 紧跟技术前沿和技术沉淀,形成顶会论文和专利。