快手AI数据架构工程师
任职要求
1、本科及以上学历,计算机相关专业优先; 2、编程技能:至少熟练掌握Java或C++中的一门编程语言,扎实的计算机基础功底; 3、熟悉 Flink/Hive/HDFS等…
工作职责
1、负责研发快手的机器学习平台,作为公司级的平台,支撑了包括推荐、广告、搜索等核心业务的算法迭代; 2、通过自研大数据引擎,构建特征工程领域的高性能计算存储框架和统一开发平台,支持算法团队的研发效率; 3、重点研究海量数据的存储与传输格式,分布式计算框架,算法DSL语言,TaskFlow 等技术,不断优化模型工程的系统效率。
1、负责研发快手的机器学习平台,作为公司级的平台,支撑了包括推荐、广告、搜索等核心业务的算法迭代; 2、通过自研大数据引擎,构建特征工程领域的高性能计算存储框架和统一开发平台,支持算法团队的研发效率; 3、重点研究海量数据的存储与传输格式,分布式计算框架,算法DSL语言,TaskFlow 等技术,不断优化模型工程的系统效率。
1、负责研发快手的机器学习平台,作为公司级的平台,支撑了包括推荐、广告、搜索等核心业务的算法迭代; 2、通过自研大数据引擎,构建特征工程领域的高性能计算存储框架和统一开发平台,支持算法团队的研发效率; 3、重点研究海量数据的存储与传输格式,分布式计算框架,算法DSL语言,TaskFlow 等技术,不断优化模型工程的系统效率。
负责AI数据的规划与架构,构建面向未来的多模态数据能力与AI数据供应链,确保数据资产可持续、高质量的支撑领域大模型及各类AI应用的落地与规模化复制 1、AI数据规划与架构设计 1.1 制定面向大模型与AI应用的数据建设蓝图与技术路线 1.2 设计支持多模态AI场景的数据架构(文本、图像、视频、时序数据等) 1.3 规划迭代AI数据供应体系,从数据采集、治理到特征服务的全链路 2、AI数据工程建设 2.1 建立面向 AI 训练/推理的高质量数据质量体系,推动数据源头应用/数据湖仓进行数据改进 2.2 设计多模态数据对齐与融合机制,满足大模型在训练、微调、推理阶段的输入需求 2.3 规划设计特征存储(Feature Store)、向量数据库及 Embedding Pipline的建设 2.4 制定自动标注、数据增强与弱监督等 AI 数据加工方法路径并推动落地
负责AI数据的规划与架构,构建面向未来的多模态数据能力与AI数据供应链,确保数据资产可持续、高质量的支撑领域大模型及各类AI应用的落地与规模化复制 1、AI数据规划与架构设计 1.1 制定面向大模型与AI应用的数据建设蓝图与技术路线 1.2 设计支持多模态AI场景的数据架构(文本、图像、视频、时序数据等) 1.3 规划迭代AI数据供应体系,从数据采集、治理到特征服务的全链路 2、AI数据工程建设 2.1 建立面向 AI 训练/推理的高质量数据质量体系,推动数据源头应用/数据湖仓进行数据改进 2.2 设计多模态数据对齐与融合机制,满足大模型在训练、微调、推理阶段的输入需求 2.3 规划设计特征存储(Feature Store)、向量数据库及 Embedding Pipline的建设 2.4 制定自动标注、数据增强与弱监督等 AI 数据加工方法路径并推动落地