通义研究型实习生-高效推理和训练技术研究
任职要求
1、扎实的工程能力,熟悉Python/C++语言和常用设计模式,具备复杂系统的设计开发调试能力。 2、优良的沟通表达能力、团队合作意识和经验;具备快速学习的能力,以及深入钻研技术问题的耐心。 3、熟悉计算机体系结构基础知识,有扎实高性能计算(GPU/x86/ARM等)、或推理框架、或模型算法优化(量化/稀疏等)方面的经验。 加分项: 1、有突出的学术背景和创新研究能力。 2、对LLM等重点场景的系统优化或前沿算法有深入务实的经验。 3、具有GPU高性能Kernel开发和优化经验。
工作职责
专注于高效LLM推理、训练系统的研究、探索和开发,具体职责包括: 1、探索高性能和稳定的推理、RL系统,支持大规模LLMs的高效推理和训练。 2、分析现有引擎和典型负载的性能瓶颈,提出并实现创新的优化技术。 3、从算法和系统co-design的角度出发,优化各场景下Inference瓶颈。
研究领域: 人工智能 项目简介: 大语言模型(LLM)和多模态大模型(MMLM)的发展为推荐系统带来了新的生机。相较于传统推荐模型依赖协同过滤信息进行建模,大语言模型因其强大的泛化和推理能力,可以更好地对物品、内容进行关联、分析用户行为和偏好,从而具备处理复杂场景中复杂用户行为的潜力。但同时,虽然大语言模型在理解和生成自然语言方面表现出色,但它们在处理推荐系统中数据稀疏、特征异构、训练和部署效率等方面仍存在众多挑战。本项目旨在对传统推荐模型、大语言模型甚至多模态大模型进行联合建模,以期取长补短,更有效地利用多模态异构信息,从而进一步提升推荐模型表现。 主要的挑战包括但不限于: 1. 大语言模型的编码效率问题:LLM的训练及推理成本随编码的信息量增加而快速膨胀,如何高效地对长用户行为序列进行多模态编码是联合建模相关探索的基础问题。 2. 多模态信息融合问题:物品、内容存在大量不同模态且异构的信息,如何有效地对多模态信息进行融合,是保障联合建模效果的重要问题。 3. 联合建模的模态差异化优化问题:不同模态在拟合速度、信息权重等方面存在天然差异,如何在联合建模过程中平衡和调节不同模块的优化是联合建模的难点。
专注于超大规模分布式LLM推理系统的研究、探索和开发,具体职责包括: 1、探索高性能的、可扩展的分布式LLM推理引擎,支持超大规模LLM的高效推理; 2、深入优化高性能算子、运行时、分布式策略等,打造业界领先的LLM推理引擎; 3、分析现有引擎和典型负载的性能瓶颈,提出并实现创新的优化技术; 4、针对LLM重点场景构建业界领先的框架和方案。
专注于大模型后训练,包括蒸馏+SFT/RL等相关技术,目标提升LLMs/LMMs的综合效果以及垂直场景效果,同时降低模型尺寸以减少部署成本,具体职责包括: 1、深入探索LLM蒸馏技术,对大模型进行极致的轻量化,同时尽可能减少模型的综合性能/垂直领域性能损失; 2、从数据合成、蒸馏算法等方面,提出创新优化技术,减少蒸馏带来的灾难性知识遗忘问题; 3、提出强化学习等创新方法,提升蒸馏后小模型解决复杂问题的能力,探索面向不同的复杂度任务自动调整推理模型思考长度的技术; 4、结合阿里云PAI平台产品服务,提供可靠高效的蒸馏+RL训练工具; 5、基于蒸馏+RL等后训练技术,面向Agent等LLM重点应用场景,构建业界领先的效果优化解决方案。
研究领域: 人工智能 项目简介: 随着黑产技术的不断演进和变化,传统的资金风控模型每隔一段时间都会面临着显著的性能衰退问题。具体而言:首先,黑产不断尝试新的攻击手段;其次,基于固定时间窗口的数据训练模型容易受到数据分布漂移的影响,导致模型效果随时间推移而下降。同时,使用最新数据进行模型迭代训练时,新模型会忘记老的知识,使得在某些情况下新模型的表现可能不如旧模型,需要在迭代过程中保留对历史风险模式的记忆。因此,如何构建一个能够持续学习,适应风险攻防形势,同时保持对历史风险记忆的风控模型,成为了当前亟待解决的问题。 同时,近期基础大模型能力的不断提升,也给资金风控智能化带来新的机会。除了传统的基于结构化数据的建模可用于线上实时风险识别之外,大语言模型也可以消费更多非结构化数据信息并进行逻辑分析与推理,可以与传统的分类模型互为补充,大幅提升现有风险防控水平。 本项目分两个方向:(1)方向一:将聚焦于持续学习、迁移学习、样本曝光偏差处理、Tabular 数据建模等关键技术方向,预期开发出一种风控模型的自适应学习方案。该方案使得风控模型可以能够在面对不断变化的风险环境时,通过迭代保持高性能和高稳定性,避免性能衰退,更准确地识别和应对新兴的欺诈、赌博、洗钱和盗用等风险行为,减少误报率,提高用户体验,从而提升整体风控识别水平和管控效率;(2)方向二:将聚焦强化学习、监督微调等大模型后训练技术,不断提升大模型在资金风控领域的分析、推理能力,预期开发出一套模型微调方案,能够将风控知识高效注入到大模型当中,最终用于资金风险案例分析与防控。