通义研究型实习生-多模态大模型技术探索
任职要求
基本要求： 1、学历背景 -计算机科学、人工智能、信号处理、机器学习等相关专业硕士及以上学历。 -具备扎实的数学基础和编程能力，熟悉深度学习理论与实践。 2、技术能力 -熟悉多模态大模型相关的技术原理，包括但不限于文本、视觉、音频联合建模的训练范式。 -深入理解音频生成、音频表征离散化编码、音视频模态理解等领域的关键技术。 -熟练掌握主流深度学习框架（如PyTorch、TensorFlow等），并具备实际开发经验。 -有较强的算法设计与优化能力，能够针对具体任务提出创新性解决方案。 3、研究经验 -在多模态大模型领域有相关研究或项目经验，能够独立开展前沿技术探索。 -熟悉语音、音频、视觉等模态的基础理论，并能将其应用于实际问题中。 加分项： 1、科研经历 -有语音大模型或多模态大模型相关科研经历，熟悉学术前沿动态。 -以…
工作职责
我们正在寻找对多模态大模型技术充满热情的研究工程师/科学家，加入我们的团队，共同探索前沿技术并推动其在实际场景中的应用。你将专注于文本、视觉、音频等多模态的联合建模与创新开发，致力于打造下一代人工智能解决方案。 核心职责： 1、多模态联合建模 -研究文本、视觉、音频的联合训练范式，在多模态融合中保持并提升文本推理能力。 -探索多模态框架下的跨模态对齐与交互机制，优化模型的表现与效率。 2、音频生成与理解 -开发高表现力情感对话生成技术，实现自然、流畅的语音合成效果。 -研究音频与音效的统一建模方法，支持多模态音频风格转换等创新任务。 -探索音频与视觉模态的深度理解，包括音频情感、背景环境信息的解析及音视频内容的联合理解。 3、音频表征学习 -研究音频表征的离散化编码方法，设计低帧率、高效率的语音与音频联合建模方案。 -探索更高效的音频特征提取与表示方式，为下游任务提供高质量输入。 4、多模态推理优化 -研究多模态大模型的深度推理能力，优化Chain-of-Thought（CoT）推理的耗时与性能。 -探索复杂推理任务的解决方案，提升模型在多模态场景下的逻辑推理与决策能力。 5、技术创新与落地 -持续跟踪学术前沿动态，结合实际需求提出创新性技术方案。 -推动研究成果的实际应用，参与从算法设计到产品落地的全流程。
【业务介绍】 作为公司统一的机器学习平台团队，负责调度公司所有模型训练与推理资源；基于自建的训推引擎，构建公司统一的机器学习平台，为公司所有算法同学（稀疏 & 稠密，含 LLM） 模型迭代提供端到端的一站式服务；包括 数据生产，模型训练，模型上线，特征管理，模型测试，资源管控等一系列能力。 【岗位职责】 1、负责机器学习链路，离在线数据相关的开发工作，包括样本数据、特征数据等的数据链路搭建、任务运维和调优、性能优化等 2、负责小红书大规模机器学习平台的后台系统设计和开发工作；包括样本平台，特征平台，训练平台，推理平台等AI应用后台建设等； 3、研究分析业内AI平台产品，优化技术方案，改进产品功能，完善产品体验。
大模型具备很强的泛化及理解世界能力，在小红书内的众多生产场景遍地开花，大模型的训练和部署已成为许多算法工程师的日常。在多团队、多业务频繁使用的大规模GPU集群上，如何能够通过高效的GPU调度策略，使大家不仅能丝滑地完成训练及部署任务，同时也能充分激发大规模GPU集群的效能，是行业公认的关键挑战。在这里，你可以聚焦LLM场景，接触到超大规模GPU集群，并使用真实负载数据进行深入分析及技术探索。欢迎加入我们，一起探索领先技术改变世界！ 工作职责： 1、负责万卡规模GPU集群效能分析及优化，通过调度策略优化、在离线混部、集群调度、GPU虚拟化、故障快速恢复、存储&网络加速等手段，提升大规模GPU集群的整体使用效率。 2、负责构建面向大模型训练、微调、推理、部署全流程LLMOps，与下游云原生平台深度融合，支撑大模型在公司内各业务生产链路稳定高效地落地。 3、持续关注业界最新的GPU资源调度相关技术动态，探索建设业界领先的资源调度策略及方法，构建下一代大规模AI资源调度系统。
中台稠密引擎组，是小红书负责建设通用深度学习训练推理引擎的团队，面向全公司LLM、多模态LLM、SD、传统CV&NLP等稠密计算型模型训练与推理的业务场景，打造高效、易用、业界领先的训练与推理引擎，为小红书社区、商业化、安全等众多业务方向提供先进的引擎能力，支撑业务持续提升训练推理效率、模型迭代效率与算法研发效率。 1、参与设计和实现深度学习后训练及微调的前沿算法（包括但不限于RFT、RLHF等），以适应多样化的业务场景； 2、结合业务数据和场景，评估选择最适合的微调算法，以支撑业务大语言模型（LLM）微调指标的提升； 3、与数据团队紧密合作，深入理解数据特性，参与设计实现数据提质算法引擎工具，产出高质量数据集提升模型微调效果； 4、与公司内各算法团队深度合作，参与或负责大语言模型、多模态大模型等业务场景的后训练端到端效果提升及落地； 5、密切关注业界 LLM 微调算法和数据提质领域的前沿论文，并整合新技术和算法到训练引擎中，提升框架的领先性；
算法工程师 1.基于滴滴交通出行业务，构建完整的打车智能化运营策略解决方案，包括但不限于增长策略、定价策略、供需预测、资源分配策略等各类丰富场景； 2.承担网约车业务核心业务指标，使用运筹优化、机器学习、因果推断等技术持续优化超大规模动态双边市场的交易效率。 计算机/应用数学/计量经济学/统计学相关专业，研究生/本科，2023年毕业 编程基础扎实，至少熟悉python/scala/R等编程语言之一 熟悉常用的机器学习与数据挖掘方法 熟悉常用统计理论与分析方法，数理逻辑好，具有一定的数据分析能力 有较强的学习能力和好奇心，自驱性强，具备良好的团队合作和沟通能力 加分项： 1. 有计量经济学/因果推断方向相关背景优先 2. 有运筹优化/收益管理相关背景优先 3. 有深度学习相关背景优先 4. 有SQL、Hadoop、Spark、Hive、TensorFlow相关经验优先