小红书多模态数据引擎研发专家
任职要求
1. 本科及以上学历，3年以上AI&Data引擎/数据/存储研发经验 2. 加分项：熟悉大模型技术和产品生态，如Data-Juicer/Ray/Daft/Pytorch/RAG等 3…
工作职责
1.负责模型预训练、微调、部署及推理过程中的数据准备、模型和数据加速、数据集存储及管理，为大模型提供高效稳定的多模态数据预处理能力，构建高质量的AI数据迭代链路。 2.探索AI Native的多模数据存储格式，支持AI数据高效存储、读取和分析，提升数据的使用价值。 3.跟进LLM、多模态大模型的前沿发展，探索数据如何更好驱动模型迭代。
1. 协同AI平台与算法团队，面向AI大模型训练和多样化数据处理场景，研发云原生文件系统和缓存加速系统，为AI业务提供极致的存储解决方案并推动在业务侧落地。 2. 应对小红书超大规模多模态应用挑战，攻克单集群百亿级元信息、Tbps级高吞吐等行业技术难题，保障AI业务的安全、稳定和高效运行。 3. 持续进行系统架构优化与技术迭代，结合AI负载特征，实现数据智能调度、数据预取和缓存管理，不断优化I/O路径，有效提升GPU等算力资源利用率。
1、打造业界领先的大数据+AI云平台产品，满足大模型时代的数据处理及应用需求； 2、负责云平台的架构设计和研发，包括数据处理、资源调度、模型/算子管理、模型部署服务等； 3、基于K8S体系构建大规模任务处理系统，并负责GPU、CPU等多种异构资源的编排调度优化； 4、负责云平台与字节跳动火山引擎基础设施如计算、存储、AI模型等上下游生态的集成。
1. MLOps平台开发打造一站式大模型开发平台，负责主流开源和闭源模型的训练、评测、蒸馏、压缩、部署全链路工具开发 ● 参与模型各种后训练如微调、蒸馏、强化学习的产品化，以及vLLM/sglang/自研推理引擎的优化，提供有竞争力的推理性能 ● 负责各种MLOps工具链开发，如AI资产管理、实验管理、血缘跟踪、评测对比等，帮助用户串联AI开发全流程，提升模型开发效率 ● 负责多模态数据自动标注和挖掘功能的开发，为智驾和具身智能客户提供新一代的数据工程解决方案 2. 企业级Agent开发平台建设 ● 建设具备全模态能力的agent开发平台，帮助客户构建RAG、chatbot、data agent、design agent、research agent等各种AI agent应用 ● 提供白盒化开发模式，建设全链路的可观测、可调试和监控能力，帮助用户构建同时具备高精度和高性价比的agent应用 ● 针对企业客户对安全隐私的强需求，构建全方位的安全防护能力，包括不限于模型安全护栏、工具沙箱、细粒度权限管控等 ● 与阿里云大数据、智能搜索等业务产品合作，建设阿里云agent工具生态
1、负责多模态数据湖内核与存储引擎的研发工作，在Data+AI场景提供行业数据湖解决方案； 2、负责与上层数据处理产品深度联动，建设多模数据湖生态； 3、结合字节跳动、国内头部大模型客户场景，支持多模态数据管理需求； 4、与开源社区深度合作，提升开源影响力。