小红书【REDstar】多模态数据处理引擎研发工程师
任职要求
1、本科及以上学历,计算机等相关专业优先; 2、具有AI&Data引擎/数据/存储研发实习经验优先; 3、熟悉Python/Java,具备优秀的设计与编码能力,针对业务需求与问题,可快速设计与实现解决方案; 4、具备良好的沟通和团队协作能力,做事主动积极负责任,有技术热情和激情面对挑战 5、加分项:熟悉大模型技术和产品生态,如Data-Juicer/Ray/Daft/Pytorch/RAG等。
工作职责
1、负责模型预训练、微调、部署及推理过程中的数据准备、模型和数据加速、数据集存储及管理,为大模型提供高效稳定的多模态数据预处理能力,构建高质量的AI数据迭代链路; 2、探索AI Native的多模数据存储格式,支持AI数据高效存储、读取和分析,提升数据的使用价值; 3、跟进LLM、多模态大模型的前沿发展,探索数据如何更好驱动模型迭代。
模型压缩方向: 1、探索研发针对大语言模型、多模态大模型、StableDiffusion模型等模型的压缩技术,包括但不限于量化、蒸馏、剪枝、稀疏化等; 2、参与/负责多个业务场景中的模型压缩技术实现,对模型进行轻量化压缩,提高训练/推理效率,支持业务降本增效。 推理框架方向: 1、参与/负责研发面向CV/NLP/多模态/大语言模型等类型模型的推理服务框架; 2、通过并行计算优化、分布式架构优化、异构调度等多种框架技术,打造高效、易用、领先的AI推理框架。 高性能计算方向: 1、参与/负责AI推理/训练框架的底层性能优化工作,包括但不限于高性能算子、通信库开发与优化等工作; 2、参与/负责大模型计算引擎的研发工作,通过多种方式实现训推性能SOTA; 3、参与/负责前沿AI编译加速等技术的探索和业务落地。 模型训练方向: 1、负责调度公司所有模型训练与推理资源; 2、基于自建的训推引擎,构建公司统一的机器学习平台,为公司所有算法同学(稀疏 & 稠密,含 LLM) 模型迭代提供端到端的一站式服务;包括 数据生产,模型训练,模型上线,特征管理,模型测试,资源管控等一系列能力。
文本大模型团队的主要负责小红书大语言模型的端到端全链路自研。主要研究方向包括: 1、持续探索大语言模型在不同阶段的高效scaling策略; 2、预训练的关键技术探索: 包括从数据策略(筛选,配比,合成,学习效率的提升)、优化技术、可解释性,到下一代模型结构的设计、long context建模、学习范式探索等; 3、通用alignment技术探索: 包括大规模RL的探索,持续提升大模型在通用能力、reasoning、长文本、agent、各方向中长尾知识等多个方向的综合能力,支撑更广泛的应用场景; 4、跟下游的多模态同学一起探索端到端全模态大模型的设计和高效scaling策略; 团队有充足的GPU计算资源,同时跟整个技术社区也有密切合作,开源开放。
1、探索新一代大语言模型基座架构,完成扩散模型(diffusion model)在大语言模型的重塑,突破逐个token预测的方式,实现高效的推理模式,探索全新scaling law; 2、实现大模型训练的数据清洗、合成和评估;设计和实现大模型训练的AI Infra框架。