字节跳动多模态数据湖存储专家-Data
任职要求
1、2年及以上大数据领域工作经验；
2、对数据湖（Iceberg/Lance/Hudi/Paimon）、分布式文件系…工作职责
1、负责多模态数据湖内核与存储引擎的研发工作，在Data+AI场景提供行业数据湖解决方案； 2、负责与上层数据处理产品深度联动，建设多模数据湖生态； 3、结合字节跳动、国内头部大模型客户场景，支持多模态数据管理需求； 4、与开源社区深度合作，提升开源影响力。
1、打造业界领先的大数据+AI云平台产品，满足大模型时代的数据处理及应用需求； 2、负责云平台的架构设计和研发，包括数据处理、资源调度、模型/算子管理、模型部署服务等； 3、基于K8S体系构建大规模任务处理系统，并负责GPU、CPU等多种异构资源的编排调度优化； 4、负责云平台与字节跳动火山引擎基础设施如计算、存储、AI模型等上下游生态的集成。
⁃ 解决千亿级元数据索引效率的问题，支撑海量文件的查询访问效率以及元数据扩展性问题，提供性能卓越扩展良好的元数据服务。 ⁃ 高效的blob存储格式，编写高质量、可扩展、高可用、性能卓越的存储底层核心模块，对模块质量负责。 ⁃ 负责性能IO链路，对小文件聚合、大文件切片、EC编码等核心功能负责。 ⁃ 基于业界主流的AI训练加速方案，打造符合蚂蚁特点的高性能AI存储/缓存产品，为大模型、海量多模态数据的高并发训练提供存储底座，为AI算力持续增长提供基础设施侧保障。 ⁃ 负责存储产品的长期技术演进及稳定性保障，对上层业务效果负责。
1、负责大规模多模态数据计算引擎的核心架构设计与执行计划优化，构建面向异构计算（CPU/GPU）的高效任务调度机制与执行流水线，解决PB级多模态数据（图像、音频、视频等）处理过程中的关键性能瓶颈； 2、应对PB级数据在Shuffle、Join、Aggregation等场景中面临的内存、I/O与存储资源挑战，攻克每日PB级流批一体数据处理过程中的系统稳定性难题了； 3、提供SQL-like与Python双端编程接口，打造从本地开发调试到生产级分布式计算的一站式开发体验，持续提升开发效率与工程易用性； 4、应对百PB级结构化数据及多模态数据入湖场景下的高效存储与高吞吐I/O挑战；实现多租户I/O与存储资源的有效隔离；构建完善的数据治理体系，保障数据质量，防范数据腐化风险。
-熟悉汽车客户的业务场景和技术架构，深挖痛点需求 -围绕智能驾驶、车联网数据、智能制造等场景，设计从数据采集、特征工程到模型部署的全链路解决方案 -设计符合车规级要求的车联网数据中台方案，解决海量多模态数据（视觉/雷达/GPS等）的存储、治理与实时计算场景需求 -编写行业白皮书、解决方案手册及标书技术方案，支撑客户招投标流程 -面向汽车行业Top客户开展商机挖掘和促成客户转化，完成业务开拓目标 -对接客户CTO/数据部门负责人，主导技术交流、需求调研及价值传递 -联合云服务商、车载芯片厂商等生态伙伴打造联合解决方案，构建行业影响力 -跟踪行业趋势（如自动驾驶数据闭环、车云一体化等），提炼标准化解决方案并推动产品化落地