小红书【REDstar】Hi Lab-大模型高性能计算工程师- AI infra
任职要求
1、本科及以上学历，计算机等相关专业方向优先； 2、熟练掌握GPU CUDA编程； 3、熟练掌握Megatron/DeepSpeed/FSDP等框架的研发，熟练掌握模型并行分布式技术； 4、对大语言模型算法感兴趣，有机器学习算法知识背景； 5、追求技术极…
工作职责
大模型AI Infrastructure团队专注于大语言模型领域的前沿技术研究和落地，提供高性能、高可靠、可扩展的机器学习系统、丰富的异构计算资源和极致的端到端的机器学习服务体验，为公司提供核心技术能力和服务。 1、负责机器学习框架的研究与开发，服务于公司各个产品； 2、高效部署，优化NLP/多模态大模型核心业务模型。
1、量化方向：负责但不限于大语言模型的低精度训练(FP8)、推理（W8A8KV8等）、低精度优化器（量化梯度、优化器状态、参数等）； 2、高性能模型结构：大语言模型Finetune或者其他阶段的LoRA系列（熟悉各种变种），训练阶段的MQA/GQA系列等； 3、稀疏化方向：大语言模型剪枝、稀疏、蒸馏、Sparse Attention等； 4、新型方向：Medusa、超长文本、Speculative Sampling等。
文本大模型团队的主要负责小红书大语言模型的端到端全链路自研。主要研究方向包括: 1、持续探索大语言模型在不同阶段的高效scaling策略； 2、预训练的关键技术探索: 包括从数据策略(筛选，配比，合成，学习效率的提升)、优化技术、可解释性，到下一代模型结构的设计、long context建模、学习范式探索等； 3、通用alignment技术探索: 包括大规模RL的探索，持续提升大模型在通用能力、reasoning、长文本、agent、各方向中长尾知识等多个方向的综合能力，支撑更广泛的应用场景； 4、跟下游的多模态同学一起探索端到端全模态大模型的设计和高效scaling策略； 团队有充足的GPU计算资源，同时跟整个技术社区也有密切合作，开源开放。
参与视觉语言大模型的研发工作，主要负责： 1、VIT Pretrain：提升模型感知能力，包括但不限于 Vision Encoder Pretrain 算法架构 / 多种感知能力数据构建； 2、VLM Pretrain：提升 vlm pretrain 的通用能力，探索各种不同训练阶段设计 / 不同通用数据的组织形式； 3、VLM Post train：提升 vlm 通用能力，包括但不限于合成数据 / RL 等方法； 4、生成理解统一：探索生成理解统一架构，同时提升理解和生成能力。
参与端到端语音交互大模型的研发工作，主要负责： 1、搭建端到端交互模型架构，探索不同潜在可能性，找出更优的方案，在智商/情商/延迟/成本上达到平衡； 2、持续优化数据pipeline，提升数据质量，在千万小时数据上挖掘金矿； 3、全面提升语音理解能力，包括但不限于ASR/说话人识别/情感等富语言信息； 4、优化模型TTS效果，持续优化tokenizer，提升合成效果。