蚂蚁金服研究型实习生-大语言模型针对高难度数学、代码问题的推理能力研究
任职要求
研究领域： -目前正在攻读计算机科学或相关STEM领域的学士,硕士或博士学位 -具有一种或多种通用编程语言的经验,包括但不限于: Java,C/C ++ 、Python、JavaScript或Go -具有上述研究领域的…
工作职责
研究领域： 人工智能 项目简介： 大语言模型近年来在自然语言处理领域取得了显著进展，但在处理高难度数学问题和复杂编程任务时，仍面临着推理能力不足和精度不够的问题。数学和代码问题通常涉及深层次的逻辑推理、符号推导和多步骤的推理过程，而这些任务要求模型能够准确地理解并生成符合数学或编程逻辑的解答。本课题旨在研究如何提升大语言模型在高难度数学推理和代码生成方面的能力，尤其是增强其对复杂问题的理解、推理和解决过程。通过创新的技术手段，本课题希望能够推动模型在这些领域的应用和实用性，进一步拓展大语言模型的应用边界。
1. 参与设计和实现融合音频理解与生成能力的统一架构，打破传统模型在“理解”与“生成”之间的壁垒； 2. 研究并开发针对长时序音频的高效建模方法，解决上下文保持难题，提升长程语义一致性和事件定位精度； 3. 提升模型在高噪声、低资源、多说话人等复杂环境下的鲁棒性，同时保证生成内容的自然度； 4. 实现跨音频类型的通用表征学习，支持零样本或少样本迁移至新任务或领域； 5. 优化模型推理效率，支持端侧部署与实时交互，满足边缘设备及移动端应用需求。
团队介绍： 我们团队负责高德出行大数据的分析和应用开发，在机器学习、深度学习、大模型agent等方向探索解决业务问题，洞察业务机会，打造智能化的用户出行数据引擎。我们鼓励创新，鼓励发表论文和申请专利，乐于用新技术在业务方向做实际落地的尝试，期待你的加入！ 具体职责包括但不限于： 1、负责机器学习、深度学习领域的数据挖掘研发工作，应用高德人地时空大数据挖掘用户画像、解决用户痛点问题； 2、负责时空大数据与AI Agent结合的应用实践，探索时空大数据Agent落地时间； 3、针对特定的业务场景对基座大模型进行微调优化，实现专属技能模型的能力升级和性能提升。
职位描述： 1、参与Agent系统的原型构建与落地，探索提升Agent自主理解、规划与执行任务能力的新思路与方法； 2、优化Agent的对话交互机制，尝试新颖的交互方式，以提升用户体验和任务完成的流畅性与智能性； 3、研究并实验Agent的知识整合与上下文记忆管理方案，探索更高效、智能的信息组织与检索技术，支持Agent进行更深层次的思考； 4、探索Agent与系统工具、API的智能协同策略，参与设计和验证更鲁棒、灵活的工具调用与任务规划流程，鼓励提出创新交互方案； 5、针对特定复杂场景，调研并实践Agent解决用户实际问题的创新路径，挑战并拓展Agent的能力边界。
【我们是谁？】 阿里云智能是阿里巴巴集团的技术基石，致力于以在线公共服务的方式，提供安全、可靠的计算和数据处理能力。我们的团队专注于机器学习系统（MLSys）的前沿研究与工程实践，特别是为“通义”系列大规模语言模型（LLM）的训练、推理提供坚实的系统支撑。在这里，你将有机会参与构建和优化支撑万亿参数级别模型的超级工程，直接影响亿万用户的AI体验。 【为什么这个机会不容错过？——来自工业界的真实挑战与机遇】 大规模语言模型的研发是一项复杂的端到端系统工程。从海量数据的高效处理、万卡集群的分布式训练、精细化的后训练调优，到低延迟高吞吐的推理服务和云上弹性部署，每一个环节都充满了挑战，也孕育着巨大的创新机会。我们认为，虽然算法创新是驱动力，但在LLM的整个生命周期中，系统扮演着至关重要的角色。 以下是我们正在“通义”大模型及相关场景下积极探索并期待与你共同攻克的挑战： 1.超大规模预训练系统优化：追求极致效率与稳定性 ·系统行为的深度洞察：在万卡集群并行训练的极致规模下，如何设计高效、低侵扰的追踪系统（Tracing System）以精准理解系统真实运行状态，本身就是一个难题。例如，仅网络层追踪就面临数据量爆炸性增长的挑战，如何在海量数据中高效提取关键信息，指导性能优化。 ·并行策略的自动化与智能化：随着模型结构的快速迭代，如何针对新型架构自动设计并调整最优的并行策略（张量并行、流水线并行、数据并行、序列并行及其混合），在复杂的内存、计算、通信约束下取得最佳平衡，减少人工调优的巨大成本。 ·大规模集群的韧性与容错：尽管我们拥有先进的异步、跨多级存储的Checkpointing机制，但GPU集群的故障（硬件、软件、网络等）仍会导致训练中断和时间浪费。如何进一步提升系统的容错恢复能力，最大限度减少故障影响，保障训练任务的连续性和效率。 2.后训练（RLHF等）中的算法-系统协同设计：提升“智能”的性价比 ·复杂工作流的高效资源调度：后训练阶段（如RLHF）涉及采样、训练、评估等多个计算特点各异的任务。如何设计智能调度系统，自动、高效地为这些任务分配和管理计算、存储、网络资源，以最小化总体资源消耗，或最大化单位资源投入下模型效果的提升“斜率”。 ·算法与系统协同进化：后训练的算法仍在快速演进，如何设计灵活、可扩展的系统架构，以适应算法的不断变化，并反过来通过系统创新启发新的算法可能性。 3.云原生推理服务：敏捷、高效、经济地赋能万千应用 ·多样化业务负载与SLA保障：云上推理业务场景丰富，客户对吞吐量、延迟、成本等有着不同的服务等级协议（SLA）要求。如何设计统一而灵活的推理服务系统，满足从离线批量推理到在线实时服务的各种需求。 ·推理优化技术的敏捷集成与工程化：学术界和开源社区的推理优化技术（如量化、剪枝、FlashAttention、PagedAttention、投机采样、模型编译等）日新月异。如何构建一套敏捷的工程体系，快速评估、吸收、融合这些前沿技术，并将其稳定部署到在线服务中，持续提升推理效率。 ·极致的资源弹性与成本效益：在云环境中，如何通过精细化的资源调度、高效的多租户管理以及智能的流量预测，应对业务负载的剧烈波动，最大限度地减少空闲资源浪费，为用户提供最具成本效益的LLM服务。