小红书AI平台开发工程师-数据方向-机器学习平台
任职要求
1、具备3年以上开发经验，具备flink、spark等大数据处理经验，精通Java、Redis、Kafa等相关技术栈； 2、熟悉分布式系统相关设计技术，具备相关分布式系统的开发和使用经验； 3、至少熟悉多种常用设计模式并能够合理使用，具备良好的编码规范； 4、积极主动，注重团队合作，具备良好的沟通和抗压能力； 【加分项】 有机器学习平台开发经验，熟悉机器学习理论技术优先。
工作职责
【业务介绍】 作为公司统一的机器学习平台团队，负责调度公司所有模型训练与推理资源；基于自建的训推引擎，构建公司统一的机器学习平台，为公司所有算法同学（稀疏 & 稠密，含 LLM） 模型迭代提供端到端的一站式服务；包括 数据生产，模型训练，模型上线，特征管理，模型测试，资源管控等一系列能力。 【岗位职责】 1、负责机器学习链路，离在线数据相关的开发工作，包括样本数据、特征数据等的数据链路搭建、任务运维和调优、性能优化等 2、负责小红书大规模机器学习平台的后台系统设计和开发工作；包括样本平台，特征平台，训练平台，推理平台等AI应用后台建设等； 3、研究分析业内AI平台产品，优化技术方案，改进产品功能，完善产品体验。
1、参与研发快手的端到端机器学习平台，作为公司级的平台，支撑了包括推荐、广告、搜索等核心业务的算法迭代； 2、通过开源或自研的大数据系统，构建特征工程领域的高性能计算存储框架和统一开发平台，与训练引擎一起，支持算法团队的研发效率； 3、重点研究数据的存储与传输格式，分布式计算框架，算法DSL语言，TaskFlow 等技术，不断优化海量数据下的特征工程系统效率。
团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、参与设计并实现高可用、可扩展、分布式机器学习平台，支撑字节跳动智能语音相关业务算法生产与高效迭代； 2、与算法工程师密切配合，理解深度学习模型研发流程，负责/参与机器学习平台的设计、开发和维护； 3、持续提升平台效率、易用性、降低算法使用成本，探索业界前沿的机器学习相关技术，设计并实现到机器学习平台中。
Part 1，后端开发： 1、负责数据产品后端的设计与实现，确保系统具备良好的架构设计、扩展性及高可用性； 2、根据系统设计，完成平台的开发、测试和线上维护工作，保障系统的稳定运行； 3、负责系统的服务端调优，持续提升系统性能和服务质量，并编写设计、开发、测试等相关文档，为团队提供清晰的技术指导。 Part 2，AI应用探索与开发： 1、参与AI技术在数据产品中的应用探索，包括但不限于自然语言处理、机器学习、深度学习等方向； 2、负责AI应用的后端开发工作，实现AI模型与现有数据产品的无缝对接； 3、与数科、算法紧密合作，将AI技术转化为实际的产品功能，提升数据产品的智能化水平； 4、跟踪AI领域的最新技术动态，结合业务需求，推动AI技术在数据产品中的创新应用。
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 1、负责大模型平台的架构设计和核心功能研发，构建云原生架构，设计高可用、高性能的微服务体系； 2、负责构建面向大模型全流程的DevOps，与下游云原生平台深度融合，支撑大模型在公司内各业务生产链路稳定高效地落地； 3、负责万卡规模GPU集群效能分析及优化，通过调度策略优化、在离线混部、GPU虚拟化、存储&网络加速等手段，提升GPU集群使用效率； 4、将平台和框架结合，通过任务调度、弹性容灾、性能优化等措施端到端提升AI生产效率，涉及k8s/kubeflow、网络通信、分布式训练等； 5、优化各AI平台性能，提升系统稳定性和可扩展性，保障大规模并发场景下的服务质量与用户体验； 6、持续研究分析业内创新AI平台产品，优化技术方案，改进产品功能，提升创新能力与产品体验。