千问千问C端事业群-大模型训练专家-AI搜场景
任职要求
1、计算机、数学或统计学相关专业硕士及以上学历,在信息检索、自然语言处理、大规模预训练模型领域有相关工作经验 2、在自然语言理解、深度学习等领域有较深入的研究,熟练使用pytorch/tensorflow等至少一种主流深度学习框架,能够独立实现前沿模型 3…
工作职责
1、基于海量用户行为数据以及人工标注数据,结合信息检索、自然语言处理、大规模预训练模型等前沿技术,支持 通用RAG检索、垂直场景下的AI搜索 等一系列业务 2、研究方向包括但不限于信息检索、大规模预训练技术、文本生成、模型蒸馏/窃取、强化学习等
1. 负责面向AI教育领域战略级内容产品建设和应用,结合大模型前沿技术解决行业核心问题。 2. 负责提升面向核心任务的大模型后训练和综合效果迭代。通过大模型、NLP、强化学习等级技术完善智能决策、内容理解等核心领域的应用技术体系。
1. 超大规模训练架构:负责百亿至万亿参数模型的分布式训练架构设计与演进。针对数千卡 GPU 互联场景,通过自顶向下的性能分析,利用 5D 并行以及通信优化策略,消除大规模分布式训练瓶颈,提升训练效率和线性加速比。 2. 极致性能优化与算子开发:深入软硬协同层,通过手写 CUDA / Triton 算子、算子融合及 XLA / MLIR 等编译优化技术,挖掘 GPU 硬件极致算力,打造一流的执行引擎,追求业界SOTA的 MFU。 3. 训练框架演进:结合前沿的大语言模型(LLM)与多模态模型结构,协同算法团队进行框架级优化(如 Checkpointing、显存优化、Overlap 通信掩盖),优化单位算力的模型效果。 4. AI 创新应用落地支撑:作为算力基座的核心支撑,支持行业顶尖的 GPT、AIGC、多模态模型在 AI 创新应用场景的业务落地,解决实际业务中的大规模与稳定性挑战,确保模型从训练到应用的顺畅衔接。
1. 超大规模训练架构:负责百亿至万亿参数模型的分布式训练架构设计与演进。针对数千卡 GPU 互联场景,通过自顶向下的性能分析,利用 5D 并行以及通信优化策略,消除大规模分布式训练瓶颈,提升训练效率和线性加速比。 2. 极致性能优化与算子开发:深入软硬协同层,通过手写 CUDA / Triton 算子、算子融合及 XLA / MLIR 等编译优化技术,挖掘 GPU 硬件极致算力,打造一流的执行引擎,追求业界SOTA的 MFU。 3. 训练框架演进:结合前沿的大语言模型(LLM)与多模态模型结构,协同算法团队进行框架级优化(如 Checkpointing、显存优化、Overlap 通信掩盖),优化单位算力的模型效果。 4. AI 创新应用落地支撑:作为算力基座的核心支撑,支持行业顶尖的 GPT、AIGC、多模态模型在 AI 创新应用场景的业务落地,解决实际业务中的大规模与稳定性挑战,确保模型从训练到应用的顺畅衔接。
1. 立足AI Agent研发运维视角,贯穿整个技术栈,在稳定、体验、效率和成本这四个方面持续进行优化 2. 基于AI研发领域的MaaS/PaaS/IaaS,进行模型训练与推理的算力保障,并提升资源使用率 3. 统性地提升Agent研发、部署、运行阶段的稳定性,适应Agent QPS、模型推理TPM每年提升1个量级的发展速度 4. 主导解决Agent研发运维过程中各类疑难问题,并推进完善产品与平台的能力 5. 系统性构建故障节点、慢节点检测平台化能力,响应并解决日常大模型任务的故障问题 6. 负责LLM 后训练(SFT、RLHF/RLAIF 等)相关链路稳定性治理、规范建设:理解研发与优化 LLM + RL/HRF 相关训练框架,提升扩展性、稳定性与性能(吞吐、显存占用、收敛效率等)。结合分布式训练技术(如 tensor / pipeline / data parallel),优化多机多卡训练性能和资源利用率。 7. 平台稳定性与工程质量:建设训练平台的观测与运维体系,完善监控、告警、日志与故障排查工具;持续提升平台的稳定性、可调试性和可维护性,产出高质量技术文档与设计方案。