logo of bytedance

字节跳动多模态数据湖存储专家-Data

社招全职2年以上A38455地点:北京状态:招聘

任职要求


1、2年及以上大数据领域工作经验;
2、对数据湖(Iceberg/Lance/Hudi/Paimon)、分布式文件系统(Hdfs/Juicefs/对象存储)有深入理解者优先;
3、熟悉SparkHiveRay等主流计算引擎优先。

工作职责


1、负责多模态数据湖内核与存储引擎的研发工作,在Data+AI场景提供行业数据湖解决方案;
2、负责与上层数据处理产品深度联动,建设多模数据湖生态;
3、结合字节跳动、国内头部大模型客户场景,支持多模态数据管理需求;
4、与开源社区深度合作,提升开源影响力。
包括英文材料
大数据+
HDFS+
Spark+
Hive+
Ray+
相关职位

logo of bytedance
社招A174521A

1、打造业界领先的大数据+AI云平台产品,满足大模型时代的数据处理及应用需求; 2、负责云平台的架构设计和研发,包括数据处理、资源调度、模型/算子管理、模型部署服务等; 3、基于K8S体系构建大规模任务处理系统,并负责GPU、CPU等多种异构资源的编排调度优化; 4、负责云平台与字节跳动火山引擎基础设施如计算、存储、AI模型等上下游生态的集成。

更新于 2024-11-13
logo of antgroup
社招5年以上技术-基础平台

⁃ 解决千亿级元数据索引效率的问题,支撑海量文件的查询访问效率以及元数据扩展性问题,提供性能卓越扩展良好的元数据服务。 ⁃ 高效的blob存储格式,编写高质量、可扩展、高可用、性能卓越的存储底层核心模块,对模块质量负责。 ⁃ 负责性能IO链路,对小文件聚合、大文件切片、EC编码等核心功能负责。 ⁃ 基于业界主流的AI训练加速方案,打造符合蚂蚁特点的高性能AI存储/缓存产品,为大模型、海量多模态数据的高并发训练提供存储底座,为AI算力持续增长提供基础设施侧保障。 ⁃ 负责存储产品的长期技术演进及稳定性保障,对上层业务效果负责。

更新于 2025-09-28
logo of baidu
社招3年以上ACG

-熟悉汽车客户的业务场景和技术架构,深挖痛点需求 -围绕智能驾驶、车联网数据、智能制造等场景,设计从数据采集、特征工程到模型部署的全链路解决方案 -设计符合车规级要求的车联网数据中台方案,解决海量多模态数据(视觉/雷达/GPS等)的存储、治理与实时计算场景需求 -编写行业白皮书、解决方案手册及标书技术方案,支撑客户招投标流程 -面向汽车行业Top客户开展商机挖掘和促成客户转化,完成业务开拓目标 -对接客户CTO/数据部门负责人,主导技术交流、需求调研及价值传递 -联合云服务商、车载芯片厂商等生态伙伴打造联合解决方案,构建行业影响力 -跟踪行业趋势(如自动驾驶数据闭环、车云一体化等),提炼标准化解决方案并推动产品化落地

更新于 2025-02-20
logo of tongyi
社招3年以上技术类-开发

1、负责AI平台大数据架构演进以及推进落地:根据不同领域场景大模型落地需求,与算法团队和IT基础设施团队紧密合作,提出大模型训练和优化数据规模、数据类型、数据结构等建议,确保架构有效实施; 2、负责搭建大模型数据平台:支撑大模型数据的存储、预处理(去重、相似度计算、脱敏等)诉求,针对大模型场景、数据类型、数据规模具有高扩展性,以支持大模型数据集持续迭代,实现高质量数据集沉淀,确保数据安全和隐私保护; 3、与算法团队紧密协作,抽象研发诉求,落地为便捷实用的的平台能力,提升整个团队的工作效率和数据处理能力。

更新于 2025-08-14