通义通义实验室-推理优化算法工程师-通义千问
任职要求
1. 对 LLM 的量化、蒸馏、剪枝、稀疏化的某一项或者几项有完整的研究经历或者实际的工业界落地经验。 2. 较强的动手能力，可以独立完成 idea 的验证和模型的训练。 3. 熟悉常见的推理框架（例如 vLLM、SGlang 等），能够在 infra 上验证想法或者完成上线（偏算法同学只要求可以进行简…
工作职责
我们在力争打造最好的 AGI 模型的同时，也在实现最高效以及成本最优的推理服务，让AI进一步实现普惠。当前，Qwen的推理优化的工作目前主要关注高并发 serving（Qwen Chat 以及API服务）下的算法侧以及系统框架侧的探索与研发，主要针对Qwen系列模型，Chat模型、VL模型、Omni模型等。 1. 开展高效模型结构相关探索，验证推理性能以及对模型精度的影响。 2. 开展 Post-training 相关推理效率优化技术探索，包括不限于模型稀疏化、蒸馏、fast decoding 等，提升模型整体推理性能，推动在产品&开源侧落地。 3. 与 LLM 预训练 & Post-training、VL、Audio、omni 等算法相关同学深入合作，支持团队模型相关推理效率需求，帮助团队技术落地。 4. 跟进业内最新模型&技术进展，例如超长序列、o1 等，尝试&探索新的推理优化方向以及机会。 5. 配合团队模型产品上线以及开源节奏，接入公司内部推理框架以及主流的开源框架（例如 vLLM、SGLang 等）中，负责模型精度以及推理性能。算法系统联合优化。
通义千问（Qwen）是由通义实验室自主研发的超大规模语言模型，具备跨语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从几百 M 到 T 级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 我们在力争打造最好的 AGI 模型的同时，也在实现最高效以及成本最优的推理服务，让AI进一步实现普惠。当前，Qwen的推理优化的工作目前主要关注高并发 serving（Qwen Chat 以及API服务）下的算法侧以及系统框架侧的探索与研发，主要针对Qwen系列模型，Chat模型、VL模型、Omni模型等。 1. 开展高效模型结构相关探索，验证推理性能以及对模型精度的影响。 2. 开展 Post-training 相关推理效率优化技术探索，包括不限于模型稀疏化、蒸馏、fast decoding 等，提升模型整体推理性能，推动在产品&开源侧落地。 3. 与 LLM 预训练 & Post-training、VL、Audio、omni 等算法相关同学深入合作，支持团队模型相关推理效率需求，帮助团队技术落地。 4. 跟进业内最新模型&技术进展，例如超长序列、o1 等，尝试&探索新的推理优化方向以及机会。 5. 配合团队模型产品上线以及开源节奏，接入公司内部推理框架以及主流的开源框架（例如 vLLM、SGLang 等）中，负责模型精度以及推理性能。算法系统联合优化。
团队背景：淘宝文本搜索算法团队是淘天集团内专注于创新和优化搜索技术的核心团队。我们的任务是通过持续研发高效、精准的搜索算法，以提升用户的在线购物体验和满意度，进而推动电商平台的商业成功。 工作职责 1. 和淘宝电商搜索业务紧密结合，设计和改进机器学习模型的架构，实现高效的搜索大型模型训练和推理系统（特别是大规模语言模型，GPT、LLaMA、通义千问等），确保其高效性和准确性，以提高计算性能和加速模型收敛 2. 进行搜索在线模型的性能分析和调优，识别和解决瓶颈问题，提高模型的训练和推理速度，以适应并充分利用硬件资源，确保在高效计算资源利用的前提下，提供快速响应的搜索业务体验 3. 应用不限于剪枝、量化、知识蒸馏、分布式计算（数据并行、模型并行、混合并行）等技术来优化模型的复杂度和运行速度，同时探索模型在样本、训练、存储和推理的极致性能 4. 和工程团队协同，实施并维护自动化工具和流程，以简化和加速模型训练和推理的部署过程 5. 研究最新的机器学习和深度学习技术，跟踪最新的研究进展和技术趋势，提出改进和创新的想法，推动团队的技术发展，并将其应用到淘宝搜索生产环境中 6. 参与设计和优化淘宝整体搜索系统，包括多阶段漏斗设计和整体链路设计，确保系统的稳定性和高效性
1. 行业解决方案设计与交付 - 基于阿里云大模型技术（如通义千问），为银行、保险、证券等金融客户量身定制AI大模型解决方案，覆盖AI财富助手、智能客服、智能风控等核心场景。 - 深入理解客户业务痛点，提供从需求分析、技术选型到方案落地的全流程支持，确保大模型技术与金融业务深度融合。 2. 大模型全生命周期技术赋能 - 主导客户侧大模型后训练（Post-training）、领域微调（Domain-specific Fine-tuning）、模型蒸馏（Distillation）及多模态融合优化，提升模型在金融垂直场景的精度及性能。 - 优化大模型训练与推理性能，包括分布式训练加速（如DeepSpeed、Megatron-LM）、显存优化、量化压缩（INT8/FP16）及低延迟推理部署（如vLLM、SGLang）等。 3. 工程化落地与性能调优 - 解决金融场景高并发、高稳定性需求，设计高性能计算架构，优化模型在GPU/TPU集群的训练效率及端到端推理链路。 - 结合金融行业数据隐私与安全要求，设计符合监管的模型部署方案。 4. 客户技术赋能与生态共建 - 面向客户技术团队提供大模型技术培训、实战工作坊及POC验证，推动AI能力在客户内部的规模化应用。 - 沉淀金融行业大模型最佳实践，输出白皮书、案例研究及标准化解决方案，提升阿里云在金融AI领域的市场影响力。
1. 构建会议AI算法工程体系（评测系统、监控系统、标注系统、AI Agent架构） 2. 会议AI基础模型的接入和优化（模型调研、训练和推理，算法工程建设） 3. AI产品的功能完善，智能化提升（AI听记、会议AI助理等线上产品的开发） 4. AI解决方案的设计和应用落地（找到具有客户价值的落地场景，真正为客户解决问题）