夸克千问C端事业群-大模型数据专家-LLM方向
任职要求
1、编程基本功扎实、熟悉常用数据结构和算法,有大规模、分布式数据处理的经验; 2、有面向大模型训练、或AI搜索/chat等创新业务的数据开发经验; 3、熟悉网页、文档的数据采集和处理技术,并能应用AI能力来不断优化数据效果; 4、…
工作职责
1、参与境内外互联网网页、文档、代码等文本数据的发现、采集、处理及标注工作,完善相应平台和架构能力; 2、为文本大模型训练供给语料数据,为AI toC应用供给领域优质内容数据; 3、评估并提升训练数据的质量、多样性及标注准确性; 4、通过AI能力来赋能数据建设,提升数据效果及生产效率; 5、与模型及业务研发团队紧密协作,根据训练效果和业务指标反馈持续迭代数据策略。
致力于构建高质量的大规模视觉训练数据集,支持图像、视频等多模态模型的研发。主导数据基础设施的设计与优化,确保数据具备良好的质量、多样性与可扩展性。 1. 开发并维护可扩展的数据基础设施,支持大规模图像和视频数据的采集、存储与管理; 2. 应用并部署机器学习模型用于数据清洗、预处理与格式标准化; 3. 实现可扩展且高效的工具,用于可视化、聚类以及深度理解数据; 4. 优化和并行化数据处理流程,以高效处理上亿级别的数据集; 5. 评估并提升训练数据的质量、多样性及标注准确性(包括但不限于caption生成); 6. 与模型研发团队紧密协作,根据训练效果和模型反馈持续迭代数据策略。
1、参与设计并实现高性能、可扩展、分布式大数据处理平台,通过数据驱动模型训练,支撑夸克智能语音相关业务算法生产与高效迭代; 2、与算法工程师密切配合,理解深度学习模型研发流程,负责/参与前沿模型研究中数据解决方案的设计、开发和维护; 3、通过AI能力来赋能数据建设,持续提升平台数据生产效率、易用性、降低算法使用成本
1. 负责CV内容安全防控体系搭建,建立CV内容审核能力、大模型安全评测能力、大模型可控生成能力,保证业务安全及大模型应用安全,利用视觉大模型解决业务安全风控需求; 2. 视觉大模型:参与视觉大模型风控的数据、算法、策略等完整体系建设,负责CV分类all-in-one、图像特征检索、开集OCR、视觉理解等算法研发,在业务场景打造行业一流的视觉大模型安全风控体系; 3、岗位特色:应对全风险问题,快速提升综合算法能力,与大模型时代发展同步,深耕大模型安全领域,持续积累安全领域业务经验; 4、业务支持:保障夸克AI、通义千问ToC、UC浏览器、书旗小说、超级汇川等产品的内容安全及大模型安全; 5、部门特色:作为综合型安全中台,包含法务、GA、公关、数安、内安、商安等职能,协同共建为业务提供全面安全保障。