希音技术专家（大数据平台）
任职要求
1.至少6年以上大数据开发经验，有扎实的计算机编程基础，精通java,熟悉jvm的原理和调优。 2.熟悉大数据计算/存储/OLAP等技术栈应用，熟悉分布式系统原理，至少3年以上PB级大数据平台相关经验。 3.了解大数据行业趋势，熟悉Kubernetes/Docker，CI/CD流程及自动化运维工具。 4.熟悉数据仓库建模（维度建模、分层设计）…
工作职责
一、岗位定位： 作为大数据平台技术专家，负责设计、构建和维护企业级大数据平台，支撑海量数据的高效存储、计算、分析与实时处理，赋能业务分析决策与智能化场景。 二、 1.主导大数据平台的架构设计、核心模块开发与性能调优。 2.构建高可用、易用性高、可扩展的数据计算和服务平台，支持离线批处理、实时流处理、交互式查询、支持B端系统等场景。 3.设计并落地数据血缘追踪、元数据管理、数据权限控制等治理方案，优化数据生命周期管理（采集、清洗、存储、计算、归档），提升资源利用率和任务执行效率。 4.跟踪大数据领域技术趋势（如Lakehouse、流批一体、云原生架构），探索AI与大数据结合场景，提升平台自动化水平，推动技术选型与落地。 三、
1.大数据基础平台、应用平台功能设计和开发。 2.负责大数据平台及组件的调研选型，部署，日常监控及问题解决。 3.参与海量数据处理方案设计，提供业务系统技术支撑。
1、负责AI平台大数据架构演进以及推进落地：根据不同领域场景大模型落地需求，与算法团队和IT基础设施团队紧密合作，提出大模型训练和优化数据规模、数据类型、数据结构等建议，确保架构有效实施； 2、负责搭建大模型数据平台：支撑大模型数据的存储、预处理（去重、相似度计算、脱敏等）诉求，针对大模型场景、数据类型、数据规模具有高扩展性，以支持大模型数据集持续迭代，实现高质量数据集沉淀，确保数据安全和隐私保护； 3、与算法团队紧密协作，抽象研发诉求，落地为便捷实用的的平台能力，提升整个团队的工作效率和数据处理能力。
1、负责AI平台大数据架构演进以及推进落地：根据不同领域场景大模型落地需求，与算法团队和IT基础设施团队紧密合作，提出大模型训练和优化数据规模、数据类型、数据结构等建议，确保架构有效实施； 2、负责搭建大模型数据平台：支撑大模型数据的存储、预处理（去重、相似度计算、脱敏等）诉求，针对大模型场景、数据类型、数据规模具有高扩展性，以支持大模型数据集持续迭代，实现高质量数据集沉淀，确保数据安全和隐私保护； 3、与算法团队紧密协作，抽象研发诉求，落地为便捷实用的的平台能力，提升整个团队的工作效率和数据处理能力。
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架，优化强化学习阶段的Rollout、Reward Model集成、多阶段训练 Pipline； 2、研发支持多机多卡 RL 的分布式训练框架，开发TP/PP/ZeRO-3与RL流程的动态协同机制，解决 RL 算法在超长时序下的显存/通信瓶刭 3、构建端到端后训练工具链，主导框架与 MLOps 平台集成，提供训练可视化、自动超参搜索等生产级能力 4、与公司各算法部门深度合作，参与大语言模型LLM、多模态大模型 MLLM等业务在 SFT/RL领域的算法探索和引擎迭代； 5、参与分析各业务 GPU 利用率与饱和度等指标，结合业务场景持续优化训练框架能力，提升框架领先性。