夸克千问C端事业群-千问/夸克-大模型预训练与应用算法工程师-杭州/北京

岗位目标： 面向人工智能前沿技术领域，聚焦计算机视觉、自然语言处理、大模型等核心技术，研发高性能、低时延的智能系统，支持语音助手、多语言交互、智能内容生成、视觉理解等多种应用场景，推动AI技术的产品化落地与规模化应用。 具体职责包括但不限于： 核心算法研发与优化： 针对具体任务场景（如语音识别、机器翻译、图像理解、文本生成等），开展深度学习模型的算法设计与创新，探索新型神经网络架构（如Transformer、MoE、扩散模型等），提升模型在复杂环境下的准确性、鲁棒性与泛化能力。 负责端到端建模优化，结合上下文理解、对话状态追踪或多模态融合技术，增强系统在连续交互场景中的语义理解与响应能力。 构建高质量训练数据体系，设计自动化语料清洗、标注与增强方案，覆盖多语言、多方言、噪声或小样本等挑战性场景，支撑模型持续迭代。 大模型技术研发与应用： 参与大规模预训练模型（LLM、VL模型等）的研发与微调，包括指令微调、对齐优化、提示工程及推理加速，提升模型在下游任务中的表现。 探索大模型在跨模态理解（图文、音视频）、实时生成、知识推理等场景的应用路径，推动AIGC、智能摘要、自动字幕、翻译等业务的技术升级。 研发高效微调技术（LoRA、Adapter等）与模型服务架构，实现大模型在资源受限环境下的灵活部署。 系统性能优化与工程化落地： 推动模型轻量化与推理加速，应用模型压缩、量化、蒸馏、剪枝等技术，提升模型在移动端、边缘设备或云端的运行效率。 协同工程团队完成算法模块的高性能集成，优化分布式训练与推理框架，保障系统低时延、高并发与稳定性。 支持多平台部署（移动端、PC端、Web端、云服务），参与全链路性能调优与监控体系建设。 前沿技术探索与跨领域协作： 跟踪人工智能领域最新研究进展（CV/NLP/ASR/TTS/MT等），结合业务需求进行技术预研与原型验证。 与产品、数据、工程团队紧密协作，深入理解用户场景，推动AI能力在实际产品中的创新应用。

通义千问（Qwen）是由通义实验室自主研发的超大规模语言模型，具备跨语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从几百 M 到 T 级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 数据的规模和质量对模型效果起到至关重要的作用，团队重视数据的 scaling，包括但不限于自然语言、代码、多模态等数据的 scaling。团队正在寻找适应快速变化、热衷解决大规模数据挑战的算法工程师，专注于大模型预训练中的数据收集、处理与优化。面对百亿至千亿级别的数据规模，设计高效的数据处理管线，与纯文本和多模态预训练团队深度协作，持续提升数据质量和模型性能。 工作职责： 1. 需求对接与迭代： 快速理解模型预训练需求，灵活调整数据方案以适应高频迭代。   2. 数据处理与优化： 开发工具完成数据收集、清洗、格式转换（如HTML2Text、PDF2Text、ASR等），构建验证与测试集以量化性能指标，优化流程以应对超大规模数据挑战。   3. 管线搭建与扩展： 构建自动化、高效率的数据处理管线，优化组件性能，确保稳定性和可扩展性。   4. 协助数据平台建设：与平台团队合作共建数据平台，分析使用痛点，提出建议意见以改进易用性，并跟进落实。 5. 技术支持与创新： 追踪业界技术进展，为预训练团队提供数据支持，探索新技术以提升数据价值和模型效果。

通义千问（Qwen）是由通义实验室自主研发的超大规模语言模型，具备跨语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从几百 M 到 T 级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 我们期望打造世界一流的预训练 LLM 基座，开发涵盖参数量从几百M到T级的基座模型，并将作为 Qwen / QwenVL / Qwen-Omni / Qwen-Coder 等系列模型的基座。我们追求将现有的预训练技术做到极致，并积极探索下一代的预训练技术。 工作职责： 1. 预训练数据：大规模预训练数据合成技术探索、STEM & reasoning 优化、长尾知识优化、精品数据挖掘过滤、自然数据 scaling、长文本优化、面向 test-time scaling 的数据优化。 2. 预训练策略：新型预训练损失函数探索、遗忘对抗与持续学习、optimizer 优化、lr scheduler 优化、课程学习、scaling law 预测、超参优化。 3. 模型结构：新型模型结构探索、模型可解释性、MoE 优化、参数扩展与裁剪蒸馏、线性注意力、动态稀疏注意力、draft model 优化、动态计算优化、KV cache压缩、长序列优化、decoding 加速等。

通义千问（Qwen）是由通义实验室自主研发的超大规模语言模型，具备跨语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从几百 M 到 T 级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 在蕴含丰富世界知识的预训练模型的基础上，我们利用 Post-train 打造出我们想要的能够服务人类的 AI 模型。我们通过 RL、SFT、RFT 等技术，探索大模型潜能的同时，也在塑造大模型的能力与性格。本着为人类服务的目标，我们的 Post-train 将会重点探索其推理能力，实现深度思考，并致力于提升其 Agent 能力，让大模型服务于真实世界的任务。 工作职责： 1. 探索更多可 scalable 的 verifier 信号，并通过 RL 提升模型的各项能力。 2. 提升 reward model 在创作、人类偏好、指令遵循等各专项上的能力，减少reward hacking和bias。 3. 研究 reasoning path压缩和外推，实现更高质量的推理思考。 4. 将LLM的推理能力和Agent以及其他模态相结合，探索统一模态的reasoning。