快手多模态 Data Infra 高级工程师-【可灵AI专项】
任职要求
1、本科及以上学历,计算机、软件工程、人工智能、自动化等相关专业优先; 2、3年以上数据工程系统或者基础架构研发经验,熟练掌握Java/C++/Python语言中的一种; 3、熟悉海量大规模数据处理技术,如Ray、Spark、Hudi、Paimon等; 4、具备多模态数据处理经验,了解图像、视频、音频等非结构化数据的存储与访问特性,有跨模态检…
工作职责
1、对接视频/图片/音频等各类多模态模型的数据生产需求,打造业界领先的多模态数据生产引擎,持续提升训练数据的规模、质量和迭代效率,支撑可灵全系多模态生成模型训练; 2、搭建 Data Centric 的多模态数据处理 pipeline,包括数据处理算子开发、跨模态检索引擎开发、多模态数据的内容理解、质量筛选、组织与合成等关键环节; 3、构建高可用、高吞吐的数据算法服务框架,支持多模态模型服务的快速部署,通过各种技术手段持续优化性能,降低推理成本,包括但不限于:算子/编译优化、异构推理、模型量化&蒸馏、分布式并行等; 4、设计并实现高可扩展、低成本的多模态数据存储架构,支持对象存储、文件系统及数据库技术的融合应用,参与多模态数据管理体系的建设,实现统一的元数据标准、数据编目、版本控制和生命周期管理; 5、构建跨模态数据关联与检索能力,支持基于内容的相似性搜索、标签检索和多模态联合查询; 6、跟踪业界前沿技术(如向量数据库、云原生存储、数据湖仓一体等),推动系统持续演进。
ByteIntern:面向2027届毕业生(2026年9月-2027年8月期间毕业),为符合岗位要求的同学提供转正机会。 团队介绍:Data AML是字节跳动的机器学习中台,为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力,并在这些业务的问题上研究一些具有通用性和创新性的算法。同时,也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。 1、深度参与业界效果领先的生成模型Seedance/Seedream相关工作,理解模型Seed-VLM的软硬件协同优化和算法优化逻辑,构建业界领先的模型优化能力矩阵; 2、研发面向多端异构平台的量化&稀疏、MOE压缩、Token压缩、Cache复用、投机解码、KV Cache压缩等加速算法,构建Training-Free或结合Post-Training/RL-Training的加速算法能力; 3、面向分布式训练/推理场景,深度挖掘模型表示位宽、分辨率、步数、结构等维度的冗余,通过算法和工程创新加速训练和推理过程,实现降本增效; 4、探索Efficient AIGC、Efficient LLM领域最前沿的问题,包括多模态理解生成统一建模加速、结合RL训练的模型优化等方向。
1、负责音乐方向多模态算法研发,参与下一代多模态大模型技术搭建与迭代,聚焦音频、语音、音乐、文本跨模态融合技术探索; 2、推进算法能力落地业务场景,承担音乐或音频的生成、理解、分析等相关算法研发,结合语音、NLP能力完成多模态业务链路搭建; 3、跟踪音频、语音、音乐、多模态领域前沿技术,开展技术调研、方案选型与技术创新,推动前沿能力落地落地; 4、配合业务团队对接豆包相关业务,独立负责模块攻坚,统筹算法方案设计、实验验证与线上交付; 5、参与算法工程基建建设,结合模型推理、训练链路优化需求,协同完成算法工程化落地。
ByteIntern:面向2027届毕业生(2026年9月-2027年8月期间毕业),为符合岗位要求的同学提供转正机会。 团队介绍:Data AML是字节跳动的机器学习中台,为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力,并在这些业务的问题上研究一些具有通用性和创新性的算法。同时,也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。 1、深度参与业界先进开源LLM/VLM模型的推理优化部署,构建业界领先的模型推理优化能力; 2、负责完善不同芯片的推理适配和优化技术体系,提升大模型x芯片类型矩阵的适配与优化效率; 3、负责新型异构芯片在多种大模型上的分析评估工作; 4、负责前沿技术的调研评估和引进落地,例如前沿论文中的推理加速技术、软硬协同优化、新异构硬件特性等。
1. 支持阿里云自研云原生数据库PolarDB PolarFS2.0开发,支持百PB级存储规模横向扩展,构建多点读写挂载能力,基于OSS通用存储池打造多存储介质的cloud-tier分层存储和自动冷热分层; 2. 对接PolarDB PG多模态、PolarDB IMCI、PolarSearch、Polar4AI的I/O需求和性能优化; 3. 基于CXL内存池,参与和PolarDB数据库内核团队深度配合的全链路协同研发&优化; 4. 制定稳定性策略,寻找并解决产品系统中的潜在风险和瓶颈,覆盖线上疑难杂症问题,确保系统的安全可靠; 5. 理解业务战略及重点,基于业务需求作出高可用、高可靠、高拓展性的技术架构规划和落地。