蚂蚁金服研究型实习生-基于多元化教师模型的知识蒸馏对提升大型语言学生模型性能之研究
任职要求
研究领域： -目前正在攻读计算机科学或相关STEM领域的学士,硕士或博士学位 -具有一种或多种通用编程语言的经验,包括但不限于: Java,C/C ++ 、Python、JavaScript或Go -具有上述研究领域的相关经验,包括行业经验或作为参与实验室研究 优先录用： -对技术研究充满热情,具有产生新思想和创新的能力; 在自学,问题分析和解决方面表现出色 -在国际会议上或核心期刊发表一份或多份出版物或论文 -至少3个月的全职工作
工作职责
研究领域： 人工智能 项目简介： 在大型语言模型的发展中，内外部透出的大模型在各项能力上参差不齐。同时，LLMs庞大的计算量和资源需求限制了它们的实用性，尤其是在计算资源受限的环境中。知识蒸馏作为一种将大型教师模型的知识转移至体更灵活（甚至体积更小）的学生模型的技术，展现出巨大的潜力。然而，目前大部分研究集中于单个教师模型的知识转移，而忽略了不同教师模型可能提供的多样化和互补性知识。本项目动机是探索如何从多个多样化的大型语言教师模型中蒸馏知识，以此来丰富和增强学生模型的在某个场景（比如代码）下的各种细分能力，同时学生模型可以通过对经典attention结构的战略性增强，在细分领域上超过LLM。
基于开源的 Diffusion 图像和视频生成模型，构建基础推理和训练引擎，探索前沿的 AIGC 技术，具体职责包括： 1、加入魔搭社区 DiffSynth-Studio 等开源项目的开发，接入先进的图像和视频生成模型，为业界提供领先的推理和训练引擎基建。 2、基于丰富的开源模型生态，探索 AIGC 技术的全新能力，开展多元化的科研项目，包括但不限于图像生成的思维链、跨模态模型的能力集成、理解-生成统一架构模型等，发表高水平学术论文。 3、参与魔搭社区的运营活动，为新模型的开源提供技术支持，推动 AI 技术的普及推广。
阿里妈妈-智能广告平台团队负责阿里妈妈核心广告产品的广告主投放效果优化、广告产技能力创新和客户增长。我们通过挖掘广告主多元需求，升级智能投放能力提升投放效果，带动广告预算增长。技术上，我们通过基于大模型、生成算法、强化学习的出价Agent对智能出价系统进行深度优化。 我们在智能出价领域有丰厚的技术底蕴，在NeurIPS、KDD、WWW等国际高水平会议上发表学术论文，并通过技术创新显著提升业务效果。决策智能技术是人工智能的关键研究领域，在大型博弈环境中有广泛应用，例如在线广告、金融市场、电子商务和能源交易。在线广告是典型的大型博弈场景，随着生成算法在广告决策领域的初步成功应用，我们相信决策领域的大模型蕴藏着巨大潜力和广阔的技术探索空间。 具体职责： 1. 深入运用生成算法（如Diffusion、Transformer等）对出价决策模型进行探索与迭代。 2. 探索大模型（LLM）与出价决策模型的融合方案，包括但不限于特征增强、环境建模、端到端决策等。 3. 跟进业界前沿技术趋势，开展前沿算法的研究工作，撰写发表论文。结合实际业务需求，将技术应用到实际业务场景。 加入我们，您将获得： 1. 贴近工业实践的技术挑战，享有丰富的数据资源和强大的计算支持。 2. 深度参与研发团队内部研讨，与顶尖专家共同探讨前沿技术，合作发表国际顶级会议论文。 3. 一对一的行业专家指导，助力业界领先并具有巨大影响力的工作。 4. 可观的实习薪酬以及校招人才计划的绿色通道。
在阿里云大数据智能运维场景中，存在大量时间序列异常检测的需求，涉及成本指标、集群、数据库实例、计算作业等诸多监控场景。 阿里云大数据技术与工程团队在时间序列异常检测方向深耕多年，特别是单指标的异常检测方面，支撑了集团内和公有云多个重要的场景。包括（1）Dataworks提供数据质量监控（DQC）动态阈值能力，自动监控集团内部和公有云Dataworks用户的数据表质量；（2）为Flink提供作业延迟的自动监控，实现海量作业异常的自动捕捉，帮助SRE及时发现大规模用户问题并确定影响面等。 但我们发现在只能运维复杂场景下精准的时序异常检测依然存在诸多技术挑战。例如（1）Hologres的实例异常发现，常常需要联合多个数据库性能相关指标综合判断，单指标的异常检测无法做出准确决策。（2）在包含主指标与子指标的下钻场景中，如大数据平台整体资源使用率和各产品资源使用率。在主指标出现异常时，还期望能够准确定位到对异常贡献度最大的子指标。 因此，团队计划在自研算法同时，通过RI项目引入高校优秀学生资源提高团队竞争力，同时也为未来招聘提供优秀候选人。
基于多核架构的数据库性能优化研究，具体职责包括： 1. 参与基于多核架构MySQL,PostgreSQL数据库的优化与实现，降低数据同步延迟和提升内存访问效率； 2. 构建并测试多核架构下MySQL,PostgreSQL的性能,确保其在高并发、低延迟场景下的性能优势，并根据实验结果进行迭代优化； 3. 与团队成员紧密合作，共同探索多核架构下MySQL,PostgreSQL等数据库中的最佳实践，推动技术创新与应用； 4. 负责制定详细的性能测试计划，分析原型系统的性能瓶颈，并提出有效的优化策略。