夸克千问C端事业群-数据研发专家-杭州
任职要求
1. 丰富的大数据研发经验，主导过复杂数据体系从0到1建设或大规模演进；能结合业务场景设计高复用、可扩展的数据资产体系，有跨境业务经验者优先 2. 深入理解湖仓一体架构，具备Paimon等湖表格式的生产级开发、优化或治理经验，能推动流批一体、增量计算等先进范式落地； 3. 有从事分布式数据存储与计算平台应用开发经验，有Hadoop、Spark、Spark Streaming、Storm、Fli…
工作职责
1. 负责千问智能硬件业务的数据资产建设；联合BI赋能管理决策，共建1+N+N决策数据产品，服务销售，市场，运营，体验，工程，算法等业务场景； 2. 深入理解业务架构和需求，参与智能硬件业务软硬一体的端到端的数据架构设计与建设，包括统一采集、数据资产建设与管理和数据质量及稳定性保障体系等； 3. 深度理解业务，通过对业务策略和痛点的分析，利用数据监控、分析和挖掘等能力，在用户增长、内容运营、商业化运营等业务场景中提供系统性的解决方案并落地 4. 面向智能互联业务场景构建AI数据取数产品，提升组织经营决策效率。 5. 主导或参与湖仓一体的数据架构演进，推动数据采集、治理、质量保障、自动化运维体系的持续优化。
1. 负责数据平台研发，覆盖全模态（文本、图片、音视频）、全生命周期的数据处理和管控，支持各业务场景的高质量数据供给； 2. 研发全模态数据处理引擎，与基础调度团队协同，实现大规模异构计算、沉淀各模态数据处理的核心算子，大幅提升业务流程承接效率、降低数据处理成本； 3. 构建数据管控、探查及归因等平台能力，与语料&业务数据交付团队协同，沉淀数据资产、完善数据画像，实现数据的业务价值反馈模型，通过数据飞轮来持续优化数据和业务效果； 4. 打造AI数据标注平台，支持全模态数据标注，沉淀标注数据资产，通过AI辅助标注、AI标自动标注&质检等能力、显著提升数据标注效率。
1. 负责夸克业务的离线流程开发与迭代，构建高效稳定的端到端数据处理流水线； 2. 深入优化数据采集、清洗、标注、报表等核心流程，提升整体处理效率； 3. 引入业界新技术，推动流程架构升级，实现业务性能、系统稳定性和成本效益的持续提升。
1. 负责大模型数据研发方向，为LLM、VLM、ASR、TTS及omni model的训练供给优质语料数据，推动各业务场景提升模型训练效果； 2. 与算法团队协同、搭建各模态数据处理pipeline，利用业界先进技术对数据进行清洗、去重、打标、标注、圈选、打包，交付优质数据进行模型训练，提升整体交付效率和数据质量； 3. 与数据采集团队协同，推动前沿数据获取策略的研发与落地，探索合成数据技术，主动解决特定领域或模-态的数据稀缺与多样性挑战； 4. 构建各模态数据分类&质量体系及数据画像，对数据进行多维度、细粒度分析，基于模型训练效果反馈进行数据挖掘，指导数据收录优化方向，构建数据飞轮。
1、分布式 NoSQL 存储架构设计与优化：负责大规模分布式 NoSQL存储系统的架构设计、核心模块开发及性能调优，支持 PB 级数据存储需求。 2、实现多租户资源隔离、优先级调度与 SLA 保障，支撑智能信息搜索/推荐/LLM 等高性能业务场景。 3、大数据计算引擎研发与优化：设计并开发流、批计算框架，构建基于 DAG 的动态任务调度系统，实现万级并发任务的资源利用率与 SLA 平衡。 4、攻克每日 PB 级流、批数据处理的稳定性挑战，优化大规模 Join/Aggregation 场景下的 IO 与网络带宽瓶颈。