夸克千问C端事业群-大模型数据专家-LLM方向
任职要求
1、编程基本功扎实、熟悉常用数据结构和算法，有大规模、分布式数据处理的经验； 2、有面向大模型训练、或AI搜索/chat等创新业务的数据开发经验； 3、熟悉网页、文档的数据采集和处理技术，并能应用AI能力来不断优化数据效果； 4、…
工作职责
1、参与境内外互联网网页、文档、代码等文本数据的发现、采集、处理及标注工作，完善相应平台和架构能力； 2、为文本大模型训练供给语料数据，为AI toC应用供给领域优质内容数据； 3、评估并提升训练数据的质量、多样性及标注准确性； 4、通过AI能力来赋能数据建设，提升数据效果及生产效率； 5、与模型及业务研发团队紧密协作，根据训练效果和业务指标反馈持续迭代数据策略。
致力于构建高质量的大规模视觉训练数据集，支持图像、视频等多模态模型的研发。主导数据基础设施的设计与优化，确保数据具备良好的质量、多样性与可扩展性。 1. 开发并维护可扩展的数据基础设施，支持大规模图像和视频数据的采集、存储与管理； 2. 应用并部署机器学习模型用于数据清洗、预处理与格式标准化； 3. 实现可扩展且高效的工具，用于可视化、聚类以及深度理解数据； 4. 优化和并行化数据处理流程，以高效处理上亿级别的数据集； 5. 评估并提升训练数据的质量、多样性及标注准确性（包括但不限于caption生成）； 6. 与模型研发团队紧密协作，根据训练效果和模型反馈持续迭代数据策略。
1、参与设计并实现高性能、可扩展、分布式大数据处理平台，通过数据驱动模型训练，支撑夸克智能语音相关业务算法生产与高效迭代； 2、与算法工程师密切配合，理解深度学习模型研发流程，负责/参与前沿模型研究中数据解决方案的设计、开发和维护； 3、通过AI能力来赋能数据建设，持续提升平台数据生产效率、易用性、降低算法使用成本
1、负责语音大模型数据构建，设计各技术方案下各阶段数据方案与策略，建设专业、敏捷的流程&标准，管理高效高质的数据生产Pipeline，有效提升技术预研/业务落地效果； 2、负责端到端语音大模型评测体系建设，设计模型优化敏感、业务场景适配的评测方案与流程，建设并管理科学、敏捷的评测Pipeline，为模型效果提升提供有价值的优化方向与反馈； 3、推动跨团队合作，理解上游需求并统筹下游人力，负责项目资源的协调与组织，与算法/产品进行良好沟通，确保项目团队协同工作，推动语音方案在业务场景的落地。
1. 负责大模型数据研发方向，为LLM、VLM、ASR、TTS及omni model的训练供给优质语料数据，推动各业务场景提升模型训练效果； 2. 与算法团队协同、搭建各模态数据处理pipeline，利用业界先进技术对数据进行清洗、去重、打标、标注、圈选、打包，交付优质数据进行模型训练，提升整体交付效率和数据质量； 3. 与数据采集团队协同，推动前沿数据获取策略的研发与落地，探索合成数据技术，主动解决特定领域或模-态的数据稀缺与多样性挑战； 4. 构建各模态数据分类&质量体系及数据画像，对数据进行多维度、细粒度分析，基于模型训练效果反馈进行数据挖掘，指导数据收录优化方向，构建数据飞轮。