夸克千问事业部-大数据计算专家-杭州
任职要求
1、精通分布式系统原理，深入理解计算引擎（如 Spark、Flink、Ray、Daft等）的执行模型、任务调度、Shuffle 机制及容错设计；具备大规模数据处理系统的实战经验； 2、熟悉 CPU/GPU 异构计算架构，具备在 GPU 加速数据处理（如视频解码、特征提取）、内存管理、向量化执行或算子融合等方向深度性能调优的实际项目经验； 3、有构建开发者工具链或编程接口（SQL-like/Python SDK）的经验，关注用户体验，能够平衡系统能力与易用性，推动从本地调试到生产部署的端到端开发闭环…
工作职责
1、负责大规模多模态数据计算引擎的核心架构设计与执行计划优化，构建面向异构计算（CPU/GPU）的高效任务调度机制与执行流水线，解决PB级多模态数据（图像、音频、视频等）处理过程中的关键性能瓶颈； 2、应对PB级数据在Shuffle、Join、Aggregation等场景中面临的内存、I/O与存储资源挑战，攻克每日PB级流批一体数据处理过程中的系统稳定性难题了； 3、提供SQL-like与Python双端编程接口，打造从本地开发调试到生产级分布式计算的一站式开发体验，持续提升开发效率与工程易用性； 4、应对百PB级结构化数据及多模态数据入湖场景下的高效存储与高吞吐I/O挑战；实现多租户I/O与存储资源的有效隔离；构建完善的数据治理体系，保障数据质量，防范数据腐化风险。
1、负责大规模多模态数据计算引擎的核心架构设计与执行计划优化，构建面向异构计算（CPU/GPU）的高效任务调度机制与执行流水线，解决PB级多模态数据（图像、音频、视频等）处理过程中的关键性能瓶颈； 2、应对PB级数据在Shuffle、Join、Aggregation等场景中面临的内存、I/O与存储资源挑战，攻克每日PB级流批一体数据处理过程中的系统稳定性难题了； 3、提供SQL-like与Python双端编程接口，打造从本地开发调试到生产级分布式计算的一站式开发体验，持续提升开发效率与工程易用性； 4、应对百PB级结构化数据及多模态数据入湖场景下的高效存储与高吞吐I/O挑战；实现多租户I/O与存储资源的有效隔离；构建完善的数据治理体系，保障数据质量，防范数据腐化风险。
1、参与设计并实现高性能、可扩展、分布式大数据处理平台，通过数据驱动模型训练，支撑夸克智能语音相关业务算法生产与高效迭代； 2、与算法工程师密切配合，理解深度学习模型研发流程，负责/参与前沿模型研究中数据解决方案的设计、开发和维护； 3、通过AI能力来赋能数据建设，持续提升平台数据生产效率、易用性、降低算法使用成本
1、负责千问C端事业群用户数据平台规划与团队管理，构建完整的用户数据资产体系，在合规基础上多手段持续提升用户画像和重点人群的覆盖与准确，完善用户标签体系，探索新的画像体系的构建，建立数据质量保障和迭代机制； 2、深度理解千问APP、智能体等业务场景与数据需求，主导数据平台架构设计，驱动提升数据采集与计算效率，为业务核心问题提供有效归因和增量洞察； 3、统筹跨部门协作，推动用户数据在千问APP、智能体、用户发展等多场景的应用落地，以业务价值驱动用户数据的迭代优化； 4、持续演进数据平台产品，加强数据服务能力，包括不限于画像人群平台、智能分析工具等，通过产品化方案降低数据使用成本、提升分析洞察效率。
1、专注于解决大规模分布式模型推理中的通信瓶颈，优化通信效率； 2、深入分析NCCL/MPI等通信库在All-Reduce、All-Gather等集合操作中的性能问题，并利用GPUDirect RDMA、InfiniBand等高速网络技术进行底层优化； 3、设计与实现异步通信、计算-通信重叠、拓扑感知集合通信等策略，实现通信与计算的高效重叠，最大化GPU集群在TP/PP/EP等并行场景下的整体效率。