小米AI算法分析员实习生

概括 想象一下您在这里能做什么！ 在小米，新想法可以很快变成非凡的产品、服务和客户体验。 对工作充满真诚热爱，您将取得的成就前所未有。 充满活力、勤奋的员工和鼓舞人心的创新技术是这里的常态。 在这里工作的人通过小米的硬件和软件产品影响整个行业。 加入我们，帮助推出下一个突破性的小米产品。 本团队正在开展小米AI领域的硬件/软件协同设计创新，以实现高效AI推理 我们正在寻找一位积极主动的研究工程师加入我们的团队，他/她应具有强大的AI系统背景和软件开发实践经验。 该职位的理想人选是一位研究人员和工程师，他/她将不断突破现有界限，并以影响小米内部外部合作伙伴和更广泛的研究社区来实现设想。 描述： 您将主要专注于构建端侧AI模型、编译器、推理框架的优化，以便在所有小米手机上高效的AI推理 开发高效的调试工具链，以便找到从模型本身到AI芯片或者CPU运算单元每一个环节的瓶颈点 与业界最佳成果进行对标，挖掘优化点，识别优先级，与相关团队配合论证可行性，并且最终落地优化成果 总结你的优化经验，整合小米从软件到芯片的能力，让开发者可以迭代模型创作、优化、转换、执行、调试、分析

团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、LLM推理和规划；在整个开发过程中增强LLM推理和规划，包括数据采集、模型评估、预训练、SFT、奖励建模和强化学习，以提高LLM的整体性能； 2、通过重写、扩充和生成等方法合成大规模、高质量的数据；如指令调优、偏好对齐、模型优化以提高LLM在各个阶段（预训练、SFT、RLHF）的能力； 3、通过RLHF/RLAIF进行偏好对齐，探索全新的训练范式，优化大模型在文本、图像、语音等多模态上的表现； 4、研究和实施稳健的评估方法，以评估LLM在各个阶段的表现，揭示其能力的潜在机制和来源，并利用这种理解来推动模型改进； 5、探索和优化有效的LLM训练方法（如主动学习、课程学习）和目标，以完善缩放规律，实现卓越的模型性能； 6、相关应用落地，包括内容创作、逻辑推理、代码生成等，深入研究和探索大模型在未来生活中的更多使用场景。

蚂蚁集团技术研究院致力于做有用、有想象力的科研，负责探索下一代前沿科技，帮助蚂蚁构建更具竞争力和可持续性的技术生态。 蚂蚁技术研究院数据智能实验室专注于通过下一代数据创新深化AGI前沿，这里汇聚了一群对人工智能充满热情的极客、科学家和工程师，核心成员累计学术引用量过万。 实验室拥有​​顶级资源支持​​包括但不限于海量高质量训练数据（万亿级Token，覆盖多领域、多模态）；超大规模算力（万卡级GPU集群，支持分布式训练与高效调优）；与全球顶尖AI团队（如DeepMind、OpenAI等）的深度合作机会等。 你将参与​： - 下一代AGI大模型研发     a. 探索更高效的训练架构     b. 突破现有模型的推理与泛化能力     c. 研究多模态、因果推理、强化学习等前沿方向 - 构建新数据范式     a. math/code数据饱和后的后训练时代数据     b. 合成数据，突破全球可用数据上限     c. 多模态数据，构建空间数据与跨模态任务的核心引擎 - 技术创新与开源     a. 撰写高质量技术论文，推动学术边界     b. 构建开源工具链，降低AGI研发门槛     c. 与全球开发者社区互动，分享你的成果

【我们是谁？】 阿里云智能是阿里巴巴集团的技术基石，致力于以在线公共服务的方式，提供安全、可靠的计算和数据处理能力。我们的团队专注于机器学习系统（MLSys）的前沿研究与工程实践，特别是为“通义”系列大规模语言模型（LLM）的训练、推理提供坚实的系统支撑。在这里，你将有机会参与构建和优化支撑万亿参数级别模型的超级工程，直接影响亿万用户的AI体验。 【为什么这个机会不容错过？——来自工业界的真实挑战与机遇】 大规模语言模型的研发是一项复杂的端到端系统工程。从海量数据的高效处理、万卡集群的分布式训练、精细化的后训练调优，到低延迟高吞吐的推理服务和云上弹性部署，每一个环节都充满了挑战，也孕育着巨大的创新机会。我们认为，虽然算法创新是驱动力，但在LLM的整个生命周期中，系统扮演着至关重要的角色。 以下是我们正在“通义”大模型及相关场景下积极探索并期待与你共同攻克的挑战： 1.超大规模预训练系统优化：追求极致效率与稳定性 ·系统行为的深度洞察：在万卡集群并行训练的极致规模下，如何设计高效、低侵扰的追踪系统（Tracing System）以精准理解系统真实运行状态，本身就是一个难题。例如，仅网络层追踪就面临数据量爆炸性增长的挑战，如何在海量数据中高效提取关键信息，指导性能优化。 ·并行策略的自动化与智能化：随着模型结构的快速迭代，如何针对新型架构自动设计并调整最优的并行策略（张量并行、流水线并行、数据并行、序列并行及其混合），在复杂的内存、计算、通信约束下取得最佳平衡，减少人工调优的巨大成本。 ·大规模集群的韧性与容错：尽管我们拥有先进的异步、跨多级存储的Checkpointing机制，但GPU集群的故障（硬件、软件、网络等）仍会导致训练中断和时间浪费。如何进一步提升系统的容错恢复能力，最大限度减少故障影响，保障训练任务的连续性和效率。 2.后训练（RLHF等）中的算法-系统协同设计：提升“智能”的性价比 ·复杂工作流的高效资源调度：后训练阶段（如RLHF）涉及采样、训练、评估等多个计算特点各异的任务。如何设计智能调度系统，自动、高效地为这些任务分配和管理计算、存储、网络资源，以最小化总体资源消耗，或最大化单位资源投入下模型效果的提升“斜率”。 ·算法与系统协同进化：后训练的算法仍在快速演进，如何设计灵活、可扩展的系统架构，以适应算法的不断变化，并反过来通过系统创新启发新的算法可能性。 3.云原生推理服务：敏捷、高效、经济地赋能万千应用 ·多样化业务负载与SLA保障：云上推理业务场景丰富，客户对吞吐量、延迟、成本等有着不同的服务等级协议（SLA）要求。如何设计统一而灵活的推理服务系统，满足从离线批量推理到在线实时服务的各种需求。 ·推理优化技术的敏捷集成与工程化：学术界和开源社区的推理优化技术（如量化、剪枝、FlashAttention、PagedAttention、投机采样、模型编译等）日新月异。如何构建一套敏捷的工程体系，快速评估、吸收、融合这些前沿技术，并将其稳定部署到在线服务中，持续提升推理效率。 ·极致的资源弹性与成本效益：在云环境中，如何通过精细化的资源调度、高效的多租户管理以及智能的流量预测，应对业务负载的剧烈波动，最大限度地减少空闲资源浪费，为用户提供最具成本效益的LLM服务。