阿里云阿里云智能-无影大模型算法专家-上海/杭州
任职要求
1. 技术技能 1) 模型开发:精通 Transformer 架构,熟悉多模态模型、大语言模型。 2) 工具链:熟练使用 PyTorch、TensorFlow、Transformers,掌握 Deepspeed、Magtran 等分布式训练工具。 3) 算法优化:熟悉 SFT、RLHF、LoRA 等微调技术,具备模型压缩等轻量化经验。 4) 分布式训练:了解 NCCL、Megatron-LM,有跨节点通信优化经验者优先。 2. 项目经验 1) 至少参与过 1 个完整的大模型项目(如预训练、微调、部署)。 2) 熟悉多模…
工作职责
1. 多模态大模型研发与优化 1) 设计并实现多模态大模型(图文音联合建模),解决跨模态语义对齐、动态数据处理等核心问题。 2) 优化模型生成能力,支持复杂多模态交互,实现毫秒级响应。 2. 多 Agent 系统算法设计 1) 构建多 Agent 协作框架,设计动态任务分配与博弈策略,解决资源争夺、动态联盟等复杂场景下的决策问题。 2) 结合博弈论与强化学习,开发对手建模模块,预测其他 Agent 的策略分布,优化协作效率。 3) 参与工业级 Agent 系统落地。 3. 行业场景落地与创新 1) 探索生成式 AI 与 RAG的结合,提升垂直领域的知识推理能力。 2) 跟踪前沿技术,推动技术方案的创新与落地。
一、GUI Agent多模态大模型研发与优化 1. 设计并实现多模态大模型,解决跨模态语义对齐、动态数据处理等核心问题。 2. 优化模型生成能力,支持复杂多模态交互,实现毫秒级响应。 3. 参与GUI Agent数据集构建及数据质量提升相关工作。 4. 参与大模型用户意图理解、任务规划及长任务执行端到端执行能力提升构建 二、多 Agent 系统算法设计 1. 构建多 Agent 协作框架,设计动态任务分配与博弈策略,解决资源争夺、动态联盟等复杂场景下的决策问题。 2. 结合各类强化学习策略,优化协作效率。 3. 参与工业级 Agent 系统落地,推动大模型与工具链的深度整合。 三、行业场景落地与创新 1. 探索生成式 AI 与 RAG(检索增强生成)的结合,提升垂直领域的知识推理能力。 2. 探索行业Deep Research+强化学习结合,提升行业Deep Research竞争力。 3. 熟悉AIGC视频生成或者图像生成技术,参与过业界知名视频生成项目优先,, 或者有视频生成模型优化技术经验。 4. 跟踪前沿技术,推动技术方案的创新与落地。
1. 训练加速系统设计与优化 1) 主导千亿参数大模型的分布式训练架构设计,优化通信效率,突破显存与计算瓶颈。 2) 研发长序列训练加速技术,支持百万级上下文窗口训练,降低计算复杂度与内存占用。 3) 设计混合精度训练方案(FP16/FP8)与梯度累积策略,结合模型并行、流水线并行等技术,提升训练吞吐量 30% 以上。 2. 推理系统优化与工程化落地 1) 构建高性能推理引擎,基于 vLLM、TensorRT-LLM 等框架实现多模态模型的分布式推理,支持 MoE 架构与动态专家激活策略。 2) 研发模型压缩技术(量化、剪枝、LoRA),将端到端延迟降低,同时保持模型精度损失 3. 基础设施全流程优化 1) 优化训练与推理的 I/O 性能,通过异步并发、缓存预取等技术减少数据加载耗时。 2) 设计训练 - 推理一体化监控平台,实时追踪模型性能指标(如训练 loss 波动、推理 QPS),实现异常自动告警与弹性扩缩容。
1、基于多模态大模型设计无影AI的技术架构,不断优化可扩展性,帮助无影业务不断快速增长。 2、支持服务上亿用户规模的高性能、分布式、可扩展的桌面和应用虚拟化产品线架构。 3、设计并实施全流式通信的 LLM 应用架构,实现端到端最佳的性能和资源效率,不断优化高并发高吞吐在线系统的健壮性。 4、结合多模态数据存储服务和RAG检索技术、多Agent协同、Function Call等,快速开发针对行业的热门应用。