通义通义实验室-多模态大模型数据处理工程师-通义百聆

您将作为阿里云模型即服务（MaaS）百炼平台及通义系列模型（通义千问、通义万相）模型的的核心技术专家。您的核心使命是指导我们的客户，深度应用AI的力量，解决其复杂的业务难题，加速企业的创新与数字化转型。 核心职责 1. AI解决方案设计与售前支持 - 与核心企业客户深度合作，精准洞察其业务目标，并基于阿里云MaaS平台，为其量身定制创新的AI解决方案。 - 主导并设计针对复杂应用场景的POC项目，包括但不限于：检索增强生成（RAG）、模型微调、多模态生成、以及基于智能体（Agent）的复杂系统。 - 负责将客户需求转化为稳健、可扩展且安全的架构设计，以支持AI Models在阿里云上的高效部署与管理。 2. 技术布道与战略影响 - 扮演AI专家的角色，挑战现有模式，为客户与内部团队带来前瞻性的创新理念。 - 面向C-level级别高管到核心工程师等关键决策者，提供具有高度影响力的技术演讲、产品演示和深度研讨会。 - 持续追踪并分析快速演进的生成式AI技术趋势与市场动态，为我们的AI MaaS解决方案发掘市场机会，并构筑独特的竞争优势。 3. 客户成功与技术咨询 - 全方位指导客户完成AI应用的完整生命周期，从初期的概念构思、模型选型，到最终的部署、监控与持续优化（MLOps）。 - 作为客户信赖的技术顾问，确保项目成功落地，并围绕模型生命周期管理、成本优化及安全合规等方面提供最佳实践。 - 负责解决客户遇到的复杂技术难题，并有效协调产品、研发等内部团队资源，全力保障客户成功。 4. 生态赋能与知识沉淀 - 构建并沉淀高价值的技术资产库，包括AI解决方案蓝图、最佳实践指南、以及有说服力的客户案例等。 - 开发并提供专业培训材料，赋能内部销售团队与生态合作伙伴，帮助他们更有效地定位并销售我们的AI MaaS产品。 - 收集并提炼来自客户与市场的关键反馈，以直接影响并推动阿里云AI产品与服务的发展路线图的演进。

通义千问（Qwen）是由通义实验室自主研发的超大规模语言模型，具备跨语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从几百 M 到 T 级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 视觉语言理解能力是Qwen最重要的能力之一，围绕 LLM 建设出具有视觉深度理解与推理能力的基座模型是团队的必经之路。结合视觉理解和推理能力的基础模型，将拓展到视频理解，GUI Agent，以及VLA 和机器人等场景中。团队负责：1）多模态基础模型的研发，包括融合视觉语言的跨模态理解模型设计，提升视觉基础模型在图像/视频中的视觉知识、空间感知、Omni Parsing等核心能力，并优化多模态大模型AI infra；2）探索多模态Agent和推理能力，构建支持网络世界（PC/Mobile/Web/游戏）交互的通用智能体；3）研究生成与理解统一的模型架构，实现跨模态生成与推理的协同优化。 工作职责 1. 多模态Pre-training：开展研究及进行实验。研究内容包括：数据清洗与筛选、数据配比优化、课程学习、视觉语言模型结构设计与优化、训练策略优化、预训练数据合成、scaling law预测、词表优化、模型蒸馏与压缩、长上下文能力优化等。 2. 多模态Post-training：迭代Post-training训练策略（SFT/RLHF），专项能力数据迭代，参与模型能力评测及评测数据和评估标准的迭代。 3. 多模态推理和通用Agent：通过强化学习（RL）持续提升多模态模型推理能力和执行任务能力，打造多模态的Test Scaling Laws，并推动模型对网络和虚拟世界的交互和任务完成能力。 4. 统一理解生成：构建视觉统一理解生成大模型，推进多模态统一生成与理解的推理和交互新范式。

建设 AGI 最重要的原料就是数据，数据的规模和质量都对模型效果起到至关重要的作用。我们极其重视数据的 scaling，包括但不限于自然语言、代码、多模态等数据的 scaling。我们正在寻找一位适应快速变化、热衷解决大规模数据挑战的算法工程师，专注于大模型预训练中的数据收集、处理与优化。你将面对百亿至千亿级别的数据规模，设计高效的数据处理管线，与纯文本和多模态预训练团队深度协作，持续提升数据质量和模型性能。 工作职责： 1. 需求对接与迭代： 快速理解模型预训练需求，灵活调整数据方案以适应高频迭代。   2. 数据处理与优化： 开发工具完成数据收集、清洗、格式转换（如HTML2Text、PDF2Text、ASR等），构建验证与测试集以量化性能指标，优化流程以应对超大规模数据挑战。   3. 管线搭建与扩展： 构建自动化、高效率的数据处理管线，优化组件性能，确保稳定性和可扩展性。   4. 协助数据平台建设：与平台团队合作共建数据平台，分析使用痛点，提出建议意见以改进易用性，并跟进落实。 5. 技术支持与创新： 追踪业界技术进展，为预训练团队提供数据支持，探索新技术以提升数据价值和模型效果。

团队围绕语音多模态模型，基于高性能分布式和云原生相关技术，建设模型推理和服务基础平台。如果你也对AGI有浓厚兴趣，有志于参与语音多模态技术体系的研发，欢迎加入我们团队，共同以技术手段让大模型变得更加普惠。 具体职责包括但不限于： 1. 参与语音和多模态大模型推理框架以及定制微调技术的研发与优化，做到极致性能和成本，探索多模态理解、生成和交互领域的前沿技术研究与创新。 2. 建设支持高并发访问的弹性平台服务后端，实现模型与云上计算资源间的互动，推动大模型在实际业务中的落地与应用。 3. 参与世界级规模的分布式服务端程序的系统设计，为阿里巴巴的产品提供强有力的后台支持，在海量的网络访问和数据处理中，设计并设施最强大的解决方案。 4. 参与跨部门，跨公司协作，探索多模态领域前沿技术研究与创新，推动包括语音在内的各领域最前沿模型的实际应用和落地。 5. 参与产品的开发和维护，完成从需求到设计、开发和上线等整个项目周期内的工作。 6. 与团队成员紧密合作，推动项目进展，交付高质量的技术解决方案。