小红书【REDstar】多模态数据处理引擎研发工程师
任职要求
1、本科及以上学历，计算机等相关专业优先； 2、具有AI&Data引擎/数据/存储研发实习经验优先； 3、熟悉Python/Java，具备优秀的设计与编码能力，针对业务需求与问题，可快速设计与实现解…
工作职责
1、负责模型预训练、微调、部署及推理过程中的数据准备、模型和数据加速、数据集存储及管理，为大模型提供高效稳定的多模态数据预处理能力，构建高质量的AI数据迭代链路； 2、探索AI Native的多模数据存储格式，支持AI数据高效存储、读取和分析，提升数据的使用价值； 3、跟进LLM、多模态大模型的前沿发展，探索数据如何更好驱动模型迭代。
1、推动NLP和大模型算法在社区业务中的落地，负责基础NLP相关算法研发； 2、参与智能客服算法开发，探索agent框架在客服业务中的应用； 3、参与翻译算法和海外多语言策略开发，探索大模型在多语言环境中的应用； 4、参与小红书生成式搜索相关算法和系统研发，通过最新的生成式AI等技术，打造新一代智能化搜索引擎； 5、探索大模型预训练、文本理解、多模态理解、多模态推理等多个前沿方向在业务中的前瞻应用。
模型压缩方向： 1、探索研发针对大语言模型、多模态大模型、StableDiffusion模型等模型的压缩技术，包括但不限于量化、蒸馏、剪枝、稀疏化等； 2、参与/负责多个业务场景中的模型压缩技术实现，对模型进行轻量化压缩，提高训练/推理效率，支持业务降本增效。 推理框架方向： 1、参与/负责研发面向CV/NLP/多模态/大语言模型等类型模型的推理服务框架； 2、通过并行计算优化、分布式架构优化、异构调度等多种框架技术，打造高效、易用、领先的AI推理框架。 高性能计算方向： 1、参与/负责AI推理/训练框架的底层性能优化工作，包括但不限于高性能算子、通信库开发与优化等工作； 2、参与/负责大模型计算引擎的研发工作，通过多种方式实现训推性能SOTA； 3、参与/负责前沿AI编译加速等技术的探索和业务落地。 模型训练方向： 1、负责调度公司所有模型训练与推理资源； 2、基于自建的训推引擎，构建公司统一的机器学习平台，为公司所有算法同学（稀疏 & 稠密，含 LLM） 模型迭代提供端到端的一站式服务；包括 数据生产，模型训练，模型上线，特征管理，模型测试，资源管控等一系列能力。
文本大模型团队的主要负责小红书大语言模型的端到端全链路自研。主要研究方向包括: 1、持续探索大语言模型在不同阶段的高效scaling策略； 2、预训练的关键技术探索: 包括从数据策略(筛选，配比，合成，学习效率的提升)、优化技术、可解释性，到下一代模型结构的设计、long context建模、学习范式探索等； 3、通用alignment技术探索: 包括大规模RL的探索，持续提升大模型在通用能力、reasoning、长文本、agent、各方向中长尾知识等多个方向的综合能力，支撑更广泛的应用场景； 4、跟下游的多模态同学一起探索端到端全模态大模型的设计和高效scaling策略； 团队有充足的GPU计算资源，同时跟整个技术社区也有密切合作，开源开放。
1、探索新一代大语言模型基座架构，完成扩散模型（diffusion model）在大语言模型的重塑，突破逐个token预测的方式，实现高效的推理模式，探索全新scaling law； 2、实现大模型训练的数据清洗、合成和评估；设计和实现大模型训练的AI Infra框架。