快手AI Data Infra工程师-【算法引擎部】
任职要求
1、至少熟练掌握C++/Java中的一门编程语言，具备扎实的计算机基础功底，编码能力强； 2、熟悉 Flink/Ray/Spark/Hudi 等大数据系统的基本原理，或其他的分布式计算/存储系统，有源码级…
工作职责
1、参与研发快手公司级的AI数据平台，构建高性能、分布式、可扩展的AI数据引擎，通过数据驱动模型生产，支撑包括 大模型、搜推广 等核心模型的高效迭代； 2、打造业界领先的AI数据引擎，包括高性能实时/离线分布式计算系统、流批一体化的AI数据湖存储系统、CPU/GPU混合计算Ray引擎等，为百万核规模、EB级数据的高效计算、存储、迭代提供易用可靠的基础设施； 3、与算法工程师、研究员团队紧密配合，深刻理解端到端的AI模型研发流程，探索业界前沿的Data4AI技术，负责模型研究中数据工程方案的架构设计、实现、持续迭代和稳定性维护。
1、对接视频/图片/音频等各类多模态模型的数据生产需求，打造业界领先的多模态数据生产引擎，持续提升训练数据的规模、质量和迭代效率，支撑可灵全系多模态生成模型训练； 2、搭建 Data Centric 的多模态数据处理 pipeline，包括数据处理算子开发、跨模态检索引擎开发、多模态数据的内容理解、质量筛选、组织与合成等关键环节； 3、构建高可用、高吞吐的数据算法服务框架，支持多模态模型服务的快速部署，通过各种技术手段持续优化性能，降低推理成本，包括但不限于：算子/编译优化、异构推理、模型量化&蒸馏、分布式并行等； 4、设计并实现高可扩展、低成本的多模态数据存储架构，支持对象存储、文件系统及数据库技术的融合应用，参与多模态数据管理体系的建设，实现统一的元数据标准、数据编目、版本控制和生命周期管理； 5、构建跨模态数据关联与检索能力，支持基于内容的相似性搜索、标签检索和多模态联合查询； 6、跟踪业界前沿技术（如向量数据库、云原生存储、数据湖仓一体等），推动系统持续演进。
1. 负责统一数据平台的架构设计与模块开发，涵盖批处理、流处理、交互式查询与服务化计算能力，构建高效、灵活、智能的大规模数据处理基础设施。 2. 构建高效、灵活、智能的大规模数据处理基础设施，支持 PB 级的非结构化数据处理，跟踪数据技术趋势（如 Lakehouse、流批一体、云原生架构），构建高可用、易扩展的数据存储体系，支持数据湖等新型数据架构演进。
在这里，你可以经历互联网领域最前沿的工程技术探索，兼顾技术深度与业务价值实现，探索研究业界最新的技术方向。 在这里，你将经历超大规模的分布式计算、海量数据的实时处理、复杂业务变化和创新等带来的全方位技术挑战。 在这里，你将承担面向电商、营销与广告等业务场景需求的基础平台相关的技术研发工作，用技术服务数以百万计的商家并持续提升消费者体验。 在这里，你将参与包括但不限于分布式系统、AI基础设施、云原生Serverless、数据库、中间件、研发效能平台等方面的架构设计与深度优化。 加入我们，你将体验简单、可依赖的团队文化，以及求真务实、追求极致的工程师文化，并给你提供广阔的施展天地。来吧，我们等你加入！ 相关研究课题细分方向如下： 1. 面向商品推荐的大模型算法-软件-硬件协同优化。 2. 面向电商图文/视频创意AIGC的算法-软件-硬件协同优化。 3. 低延迟高并发AI在线服务的异构计算调度和编译优化。 4. 面向推荐系统的高性能Embedding系统优化。 5. 面向异质AI workload的调度系统优化。 6. 面向大模型与大模型-广告模型结合的训练系统设计与优化。 7. 多模计算(AP/Serving/AI)一体的数据引擎架构设计和优化。 8. 高性能数据湖和Data Fabric驱动的新型数据平台建设。 9. 面向电商Data+AI复杂场景，基于RAY框架打造高效的多模态数据处理流水线。
