小米顶尖应届-全模态理解和推理大模型算法工程师-大模型
任职要求
1. 博士学历，计算机、人工智能、机器学习、电子信息、自动化、数学等相关专业，多模态大模型、计算机视觉、语音理解等相关方向； 2. 具备丰富的多模态大模型、或视觉理解、或语音理解经验，对多模态大模型、视觉理解、语音理解、全模态理解等有深入理解； 3. 具备优秀的编程能力，熟练掌握PyTorch等至少一门深度学习框架，熟练掌握Python或C++等至少一门编程语言； 4. 在CVPR / ICCV / ECCV / NeurIPS / ICLR / ICML等顶会发表过多模态大模型或深度强化学习方向高水平论文，或以主力身份参加相关领域主流算法竞赛且取得优秀成绩者，优先； 5. 在ACM/ICPC、CodeForces、IOI/NOI/NOIP/CSP等编程算法竞赛中获得优秀成绩者，优先； 6. 具备良好的团队合作精神。
工作职责
1. 研发端到端全模态理解和推理大模型核心技术，在模型结构、对齐策略、指令微调、偏好对齐、多阶段渐进式学习训练策略、推理能力增强（关系推理、因果推理、常识推理）等方面做出创新突破，达到业内一流； 2. 研发视觉理解和推理大模型核心技术，在图像理解，视频理解，视觉推理能力增强（关系推理、因果推理、常识推理），GUI屏幕感知和推理、端到端图像翻译等方向创新突破，达到业内一流； 3. 优化语音识别大模型的上下文感知能力，通过送入交互历史信息提升语音识别准确率；优化语音识别大模型的热词感知能力，通过送入相关热词提升语音识别准确率；优化语音多模态理解大模型的SpeechEncoder，提升语音理解大模型的语音理解能力和声音理解能力，包括语音内容、情感、性别、声音事件、音乐风格等；在用户跟智能体对话的过程中，检测用户的表达完整性，从而加快系统响应速度且不带来更多的误截断；在语音对话模型中，检测用户交互的对象，从而提升打断的有效性和系统交互的响应速度； 4. 端到端全模态理解和推理、视觉理解、语音理解等，建立比较广泛的业界影响力，论文引用数300+、主流算法竞赛/排行榜TOP1、开源Star 2000+等； 5. 端到端全模态理解和推理、视觉理解、语音理解等，落地在小米核心业务场景，提升核心产品竞争力和用户智能体验，包括手机（OS/小爱）、汽车、生态链等。 【课题名称】 端到端全模态理解和推理大模型研究与应用 【课题内容】 1. 研究端到端全模态理解和推理大模型的核心技术，产出突破性成果，在小米核心业务场景落地；输入文本、图像、视频、语音等模态，输出文本、语音等模态；探索全模态信息感知能力；探索全模态混合推理思维链；探索全模态思维强化； 2. 研究视觉理解和推理的核心技术和应用，包括图像理解与推理、长视频理解与推理、屏幕感知和端到端图像翻译等； 3. 研究语音理解大模型的感知关键技术，包括有效利用场景、上下文、个性化信息更好的进行音频内容的转写以及副语言信息的提取，用户表述完整性检测等，提升流式交互系统的响应速度和理解准确性等。
1. 构建行业有影响力的各类智能体和研究对应学术前沿问题，训练业界效果领先的大模型智能体模型，并通过发表论文、开源、竞赛等，打造学术影响力； 2. 打造业界一流的通用大模型智能体解决方案，并落地小米核心业务。 【课题名称】 大模型智能体研究与应用 【课题内容】 构建行业有影响力的各类智能体和研究对应学术前沿问题，包括但不限于： 1. 研究通用任务AI Agent核心技术，包括但不限于规划、工具调用、多智能体等，并构建和开源业界有影响力的AI Agent模型和解决方案； 2. 研究GUI Agent相关核心技术，包括但不限于SFT、离线强化学习、在线强化学习等，并训练和开源业界有影响力的GUI Agent模型； 3. 研究强化学习算法全流程核心技术，包括但不限于算法优化，奖励函数设计、环境构建等，并基于强化学习构建和开源业界有影响力的推理大语言模型、GUI Agent模型、deep search模型等； 4. 研究RAGRAG全流程核心技术，包括但不限于音-视-文全模态理解与生成、端侧RAG等，并推动相关领域技术突破和业务落地。
通义千问（Qwen）是由通义实验室自主研发的超大规模语言模型，具备跨语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从几百 M 到 T 级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 通义千问（Qwen）全模态统一理解生成前沿技术研究，团队在多个方向上进行探索（具体如下罗列），若你对以下一个或者多个课题感兴趣均欢迎投递： 1. 模型架构与学习机制探索 （1）预训练与后训练技术：持续提升模型的理解力、推理力与泛化能力。 （2）探索下一代学习范式，如自监督学习、动态训练策略、知识蒸馏等。 2. 多模态与多智能体感知交互系统 （1）打造 Omni 基座模型，实现文本、语音、视觉等多模态一体化理解与生成，推动世界模型的发展。 （2）开发超智能的 Coding Agent，打通语言与代码之间的桥梁，连接 AI 与数字世界。 （3）构建下一代 AI 交互系统，在 GUI Agent、视频理解等前沿场景，探索 AI 自主执行、扩展、进化的可能性。 3. 数据建设与性能优化 （1）数据工程：设计高效的数据处理管线，持续提升自然语言、代码、多模态等数据质量与规模。 （2）推理优化：探索模型高并发服务下，算法及系统框架侧技术创新与优化，包括但不限于训练推理协同优化、模型推理新范式。 4. 评测与安全体系 （1）构建下一代大模型评估系统，覆盖推理、生成、可控性等多个维度。 （2）关注模型内生安全，追求 AI 对人类有益且可控，参与对抗攻击检测、伦理约束建模等工作。
我们正在寻找业界顶尖的系统专家，加入我们的AI基础架构团队，共同设计和构建下一代生成式AI的“在线服务操作系统”。您的使命是解决将前沿AI能力（大模型、AI Agent、多模态等）转化为大规模、高效率、高可用在线服务时所面临的系统性、全栈性挑战。您将负责端到端的服务性能与架构演进，从顶层应用到底层硬件，全面提升AI服务的竞争力。 具体职责包括（若你对以下一个或者多个方向感兴趣均欢迎投递）： 1. 大规模模型服务平台与智能调度系统设计： (1)负责承载大规模在线模型服务（Serving）平台的核心架构设计与演进，通过对底层推理引擎（如PAI平台提供）的深度适配与协同优化，实现极致的推理吞吐与资源利用率。 (2)设计并实现面向复杂混合负载（长/短序列长度、多Lora、多模型、异构资源、多租户、高/低优先级）的上层智能请求调度与资源管理系统，通过与推理引擎的深度协同，动态调整调度策略，保障服务质量（SLA）并最大化云上服务的性价比。 2. 分布式基础设施与底层硬件优化： (1)负责面向大规模模型服务的分布式推理拓扑管理与通信计算协同优化，针对张量并行、流水线并行等场景，优化跨节点通信（InfiniBand/RoCE, NVLink），降低端到端延迟。 (2)深入理解GPU、NPU等异构硬件架构与特性，负责从服务层面对底层计算、编译优化（由PAI等引擎团队提供）进行性能评测、分析与反馈，驱动端到端的硬件效能提升。 3. AI应用层运行时与算法协同优化： (1)深入AI Agent、检索增强生成（RAG）、多模态理解等复杂应用场景，设计并优化其专用的高效运行时（Runtime），解决长链条、多依赖、异步任务流的性能瓶颈。 (2)负责高性能向量检索（Vector Search）与图计算（Graph Computing）引擎的服务化与集成，优化其在RAG和复杂推理场景下的数据访问与计算效率，实现数据层与模型层的无缝高效协同。
1. 跨模态长程预训练：设计并实现文本、图像、视频等多模态对齐与融合的长程训练策略，操控万卡级 GPU 集群，协同 Pretrain / CPT / SFT / RLVR / RLHF 全链路，对超大参数基座模型进行高效分布式优化。 2. 前沿技术攻坚：深入探索 MoE 稀疏化、训练算法与对齐范式创新、可解释性与质量监控、多模态推理、mRAG、百万 Token 级长文处理、Agent&工具链机制等底层原理与技术。 3. 高性能训练框架持续升级：与系统团队共建张量并行、流水并行、混合精度等高性能训练框架，持续提升训练吞吐与稳定性。 4. 学术与行业影响力打造：快速跟踪 NeurIPS / CVPR / ACL 等顶会成果及开源项目，输出专利与论文，树立行业技术标杆 5. 高速驱动夸克AI相关业务：赋能夸克 AI 相机、AI 搜索·深度思考、DeepResearch、创意写作、AI 助手等核心产品，实现多模态能力的快速迭代与落地。 加入我们，你将获得 1. 顶尖资源：与行业专家并肩作战，万卡算力与海量数据随手可用，持续挑战技术天花板。 2. 高速成长：极具竞争力的薪酬福利与纯粹的工程师文化，为你的职业加速。 3. 时代机遇：亲历 AGI 关键技术的诞生与规模化应用，在智能时代留下你的名字。 如果你渴望驰骋于大模型与 AGI 的蓝海，这里就是你的最佳舞台。立即加入我们，共创智能新时代！