字节跳动多模态数据湖研发专家-Data for AI
任职要求
1、本科及以上学历，计算机相关专业； 2、拥有扎实的计算机基础和良好的编程能力，精通Java或Python语言，熟悉主流的Java或Python编程框架； 3、熟悉K8S工作原理、云原生AI/大数据生态常用的开源组…
工作职责
1、打造业界领先的大数据+AI云平台产品，满足大模型时代的数据处理及应用需求； 2、负责云平台的架构设计和研发，包括数据处理、资源调度、模型/算子管理、模型部署服务等； 3、基于K8S体系构建大规模任务处理系统，并负责GPU、CPU等多种异构资源的编排调度优化； 4、负责云平台与字节跳动火山引擎基础设施如计算、存储、AI模型等上下游生态的集成。
1、负责多模态数据湖内核与存储引擎的研发工作，在Data+AI场景提供行业数据湖解决方案； 2、负责与上层数据处理产品深度联动，建设多模数据湖生态； 3、结合字节跳动、国内头部大模型客户场景，支持多模态数据管理需求； 4、与开源社区深度合作，提升开源影响力。
1、主导团队的湖仓一体、流批一体的数据技术架构的落地，并沉淀多模态的数据处理技术框架，推进整体数据架构体系的升级； 2、参与构建企业级 Data Agent，融合 LLM 与业务数据打造智能决策大脑； 3、参与供应链平台数据资产体系的建设，包括数据领域模型的规划建设以及领域知识资产化的建设，通过数据+算法+工程化+大模型的相关能力，赋能业务与产品的自动化、智能化；
1. 参与构建淘天全域营销知识AI基础设施，负责将海量、多源的营销业务知识（如商品信息、权益规则、活动策略、用户行为等）进行结构化、体系化的组织与沉淀； 2. 设计并开发高效、鲁棒的知识处理工作流，包括但不限于：多模态（文本、图像、结构化数据）营销数据的清洗、融合、加工与向量化，为上层AI应用提供高质量的“燃料”； 3. 探索并实践知识检索增强（RAG）架构，参与设计面向营销场景的语义检索、混合检索方案，提升AI模型在复杂营销问答、策略生成等任务中的准确性与可解释性； 4. 参与营销领域本体（Ontology）的构建与迭代，将业务专家的经验和逻辑转化为机器可理解的知识图谱，推动营销知识的标准化和智能化应用； 5. 紧密协同算法、产品及业务团队，深入理解营销业务痛点，将业务需求转化为可落地的数据与AI解决方案。
⁃ 解决千亿级元数据索引效率的问题，支撑海量文件的查询访问效率以及元数据扩展性问题，提供性能卓越扩展良好的元数据服务。 ⁃ 高效的blob存储格式，编写高质量、可扩展、高可用、性能卓越的存储底层核心模块，对模块质量负责。 ⁃ 负责性能IO链路，对小文件聚合、大文件切片、EC编码等核心功能负责。 ⁃ 基于业界主流的AI训练加速方案，打造符合蚂蚁特点的高性能AI存储/缓存产品，为大模型、海量多模态数据的高并发训练提供存储底座，为AI算力持续增长提供基础设施侧保障。 ⁃ 负责存储产品的长期技术演进及稳定性保障，对上层业务效果负责。