logo of bytedance

字节跳动多模态数据湖研发专家-Data for AI

社招全职A174521A地点:北京状态:招聘

任职要求


1、本科及以上学历,计算机相关专业;
2、拥有扎实的计算机基础和良好的编程能力,精通JavaPython语言,熟悉主流的JavaPython编程框架;
3、熟悉K8S工作原理、云原生AI/大数据生态常用的开源组件,或熟悉RAY、Spark等分布式数据处理框架者优先;
4、有深度学习大模型LLM应用等平台开发经验,或熟悉LangChain、Dify等开源Agent框架者优先;
5、熟悉大模型领域数据处理流程/算法者优先。

工作职责


1、打造业界领先的大数据+AI云平台产品,满足大模型时代的数据处理及应用需求;
2、负责云平台的架构设计和研发,包括数据处理、资源调度、模型/算子管理、模型部署服务等;
3、基于K8S体系构建大规模任务处理系统,并负责GPU、CPU等多种异构资源的编排调度优化;
4、负责云平台与字节跳动火山引擎基础设施如计算、存储、AI模型等上下游生态的集成。
包括英文材料
学历+
Java+
Python+
Kubernetes+
大数据+
Spark+
深度学习+
大模型+
LangChain+
AI agent+
算法+
相关职位

logo of bytedance
社招2年以上A38455

1、负责多模态数据湖内核与存储引擎的研发工作,在Data+AI场景提供行业数据湖解决方案; 2、负责与上层数据处理产品深度联动,建设多模数据湖生态; 3、结合字节跳动、国内头部大模型客户场景,支持多模态数据管理需求; 4、与开源社区深度合作,提升开源影响力。

更新于 2025-05-19
logo of alibaba
社招3年以上技术类-数据

1、主导团队的湖仓一体、流批一体的数据技术架构的落地,并沉淀多模态的数据处理技术框架,推进整体数据架构体系的升级; 2、参与构建企业级 Data Agent,融合 LLM 与业务数据打造智能决策大脑; 3、参与供应链平台数据资产体系的建设,包括数据领域模型的规划建设以及领域知识资产化的建设,通过数据+算法+工程化+大模型的相关能力,赋能业务与产品的自动化、智能化;

更新于 2025-08-04
logo of antgroup
社招5年以上技术-基础平台

⁃ 解决千亿级元数据索引效率的问题,支撑海量文件的查询访问效率以及元数据扩展性问题,提供性能卓越扩展良好的元数据服务。 ⁃ 高效的blob存储格式,编写高质量、可扩展、高可用、性能卓越的存储底层核心模块,对模块质量负责。 ⁃ 负责性能IO链路,对小文件聚合、大文件切片、EC编码等核心功能负责。 ⁃ 基于业界主流的AI训练加速方案,打造符合蚂蚁特点的高性能AI存储/缓存产品,为大模型、海量多模态数据的高并发训练提供存储底座,为AI算力持续增长提供基础设施侧保障。 ⁃ 负责存储产品的长期技术演进及稳定性保障,对上层业务效果负责。

更新于 2025-09-28
logo of tongyi
社招3年以上技术类-开发

1、负责AI平台大数据架构演进以及推进落地:根据不同领域场景大模型落地需求,与算法团队和IT基础设施团队紧密合作,提出大模型训练和优化数据规模、数据类型、数据结构等建议,确保架构有效实施; 2、负责搭建大模型数据平台:支撑大模型数据的存储、预处理(去重、相似度计算、脱敏等)诉求,针对大模型场景、数据类型、数据规模具有高扩展性,以支持大模型数据集持续迭代,实现高质量数据集沉淀,确保数据安全和隐私保护; 3、与算法团队紧密协作,抽象研发诉求,落地为便捷实用的的平台能力,提升整个团队的工作效率和数据处理能力。

更新于 2025-08-14