阿里巴巴多模态 AI 数据湖存储技术-阿里星
任职要求
1、计算机科学、人工智能、数学或相关领域的博士学历； 2、具备扎实的工程能力，优良的编程风格，熟悉Java/Python等面向对象编程语言，以及常用设计模式； 3、具备 AI 多模态预处理相关实践经验，熟悉P…
工作职责
1、深度参与 Apache Paimon 湖格式核心架构设计与研发，推动开源生态发展，致力于打造全球领先的全模态湖仓企业级产品； 2、深度参与多模态数据湖的设计与推广，并协同各大计算引擎，包括AI相关推理与训练生态进行对接与全链路的研发； 3、积极参与 Apache Paimon 开源社区核心贡献与标准制定，推动版本演进，携手社区共建前沿技术，提升影响力； 4、深度参与DLF湖仓产品的研发与能力建设，对接内外部客户对湖仓的需求，抽象总结为产品技术能力，支撑大规模企业级应用场景。
1. 支持阿里云自研云原生数据库PolarDB PolarFS2.0开发，支持百PB级存储规模横向扩展，构建多点读写挂载能力，基于OSS通用存储池打造多存储介质的cloud-tier分层存储和自动冷热分层； 2. 对接PolarDB PG多模态、PolarDB IMCI、PolarSearch、Polar4AI的I/O需求和性能优化； 3. 基于CXL内存池，参与和PolarDB数据库内核团队深度配合的全链路协同研发&优化； 4. 制定稳定性策略，寻找并解决产品系统中的潜在风险和瓶颈，覆盖线上疑难杂症问题，确保系统的安全可靠； 5. 理解业务战略及重点，基于业务需求作出高可用、高可靠、高拓展性的技术架构规划和落地。
1、数据效能研究（Data Efficiency）：基于多模态大模型训练过程，分析不同模态数据的有效性、信息增益与贡献度；参与数据选择、数据蒸馏、难例挖掘等前沿技术探索，提升训练效率与模型表现； 2、数据–模型协同设计（Co-Design）：与模型团队协作，从训练曲线、梯度信号与分布特征中反推数据质量，研究分阶段（预训练/SFT/对齐）数据策略，设计高效的数据结构与采样机制； 3、高质量数据构建（Data Quality Engineering）：参与多模态数据 pipeline，包括自动标注、Caption 生成、数据去噪与一致性检查；探索弱监督、合成数据与模型 in-the-loop 的高质量数据生产方式； 4、多模态数据分析（Multimodal Analytics）：对训练数据进行覆盖度、偏差与难度分析，构建可视化与指标体系，为模型能力诊断与数据重构提供依据。
1、数据效能研究（Data Efficiency）：基于多模态大模型训练过程，分析不同模态数据的有效性、信息增益与贡献度；参与数据选择、数据蒸馏、难例挖掘等前沿技术探索，提升训练效率与模型表现； 2、数据–模型协同设计（Co-Design）：与模型团队协作，从训练曲线、梯度信号与分布特征中反推数据质量，研究分阶段（预训练/SFT/对齐）数据策略，设计高效的数据结构与采样机制； 3、高质量数据构建（Data Quality Engineering）：参与多模态数据 pipeline，包括自动标注、Caption 生成、数据去噪与一致性检查；探索弱监督、合成数据与模型 in-the-loop 的高质量数据生产方式； 4、多模态数据分析（Multimodal Analytics）：对训练数据进行覆盖度、偏差与难度分析，构建可视化与指标体系，为模型能力诊断与数据重构提供依据。
1、从零搭建多模态数据链路的端到端质量保障体系，制定质量准入标准、评测指标与监控机制，对数据交付质量负责； 2、通过端到端抽样测试、自动化质量评测及异常检测等手段，系统性识别数据链路中的问题与优化空间，协同链路算法与工程团队共同推动质量改进，守好数据链路底线； 3、建立缺陷追踪与持续改进机制，推动链路问题从发现、归因到修复的全流程闭环，持续提升数据交付的可靠性与一致性； 4、将质量诉求转化为工具链及平台需求，与工程团队紧密配合，推动 QA 能力从人工走查向自动化、规模化升级。