通义研究型实习生-大语言模型的科学推理能力增强
任职要求
1.计算机及相关专业的博士或硕士研究生；
2.对LLM…工作职责
大模型的科学知识和文本推理能力是体现大模型智能程度的重要标准，而如何通过大规模算力显著提高大模型的相关能力目前仍是亟待被探索的。本项目旨在研究通过相关预训练数据挖掘合成、专项post-training优化、reward模型构建等技术提升大模型的专项能力并进一步反哺给通用模型。 拟解决的技术问题包括但不限于： -科学、文本推理类预训练数据的高效挖掘、构建 -科学、文本推理类数据的大规模自动合成 -科学、文本推理类能力的自动评测建设 -科学、文本推理类能力的post-training专项优化 -科学、文本推理类能力的reward model专项优化
1. 参与设计和实现融合音频理解与生成能力的统一架构，打破传统模型在“理解”与“生成”之间的壁垒； 2. 研究并开发针对长时序音频的高效建模方法，解决上下文保持难题，提升长程语义一致性和事件定位精度； 3. 提升模型在高噪声、低资源、多说话人等复杂环境下的鲁棒性，同时保证生成内容的自然度； 4. 实现跨音频类型的通用表征学习，支持零样本或少样本迁移至新任务或领域； 5. 优化模型推理效率，支持端侧部署与实时交互，满足边缘设备及移动端应用需求。
团队介绍：团队聚焦多模态模型、大语言模型、扩散模型的基础研究和前沿探索，可提供充足显卡资源和专业技术指导。 岗位描述： 1. 多模态模型和扩散模型的研究，包含但不限于文本、图像的跨模态对齐和AIGC内容生成； 2. 大语言模型的前沿探索，包括但不限于SFT和RLHF算法、CoT、Hallucination、Agent等领域的探索与研究； 3. 大模型的效率研究，包括但不限于大模型的量化、蒸馏、训练与推理加速。
职位描述： 1.设计和实现面向大模型推理的多层级存储系统，综合利用多种硬件进行数据的存储和迁移管理，优化大模型缓存利用率，提升推理性能； 2.设计负载感知的推理框架自调优能力，设计高效的指标采集模块，能够根据对不同负载自动调优推理框架的参数； 3.优化模型量化以及模型卸载技术，进一步提升单机场景下支持的模型规模； 4.设计高效微调框架，集成并优化微调算法，实现动态策略调度模块，基于任务特征挑选最合适的微调方案。
1）构建数据库内AI推理系统架构，高效整合CPU，GPU等资源，设计数据迁移管理机制，优化模型（包括大模型和小模型）的核心性能指标； 2）研发具备负载自适应能力的推理框架，开发高精度指标采集模块，实现基于实时负载特征的动态参数调优功能； 3）研究在精度可接受范围内，多种近似推理及轻量化技术，包括采用模型压缩（如量化、剪枝）或近似算法（如近似最近邻搜索）降低计算开销。