小红书【hi lab】 Posttrain算法工程师-RM方向
任职要求
1. 具备扎实的机器学习基础，能熟练使用至少一种深度学习框架（e.g. PyTorch、Jax、TensorFlow、MindSpore、PaddlePaddle）。 2. 对监督学习、强化学习、表示学习等机器学习方法有深入理解并具备相关的实践经验。 3. 在 NLP/CV/RL 等至少一个 AI 领域中有过深入的研究经历，或通过机器学习算法解决过复杂业务场景问题。 4. 具备卓越的实验分析与问题解…
工作职责
利用多种方法获得效果、 Robustness、Uncertainty校准都足够好的 Reward Model 1、RM标注策略优化，包括但不限于迭代标注策略、AI标注策略等，探究数据和模型性能的关系； 2、研发fine-grained reward modeling，对幻觉、推理、数学等场景进行针对性优化； 3、探索 PMP、Reference、Tool-Augmented、RM+CoT等对现有方法的改进，探索language-based RM以提高可解释性及鲁棒性； 4、研究Self-Rewarding、Self-Crituqing、Scalable Oversight等方向下的对齐技术，探索LLM booststrap的技术路径。
利用强化学习方法对多模态大模型进行对齐： 解决优化现有多模态大模型 RLHF 中的训练效果、稳定性、Reward Hacking 等问题； 探索 RL 阶段 computaiton scaling 对模型能力提升的方法； 研究 Multi-Agent、Long-term Objective、Scalable Oversight 等方向下基于强化学习的对齐方法； 基于前沿方法对幻觉、推理、工具使用、安全等场景问题进行针对性优化，提升大模型的应用价值。
你将参与到小红书下一代 AI native 应用的构建中，通过 Omni Model 技术改变现有 AI 以文字交互为主的形态，负责全模态大模型（Omni Model）的后训练工作，主导音频与文本、视觉协同对齐的整体方案设计与落地，包括并不限于： 1、制定并迭代音频-文本-视觉对齐数据体系，与数据团队合作构建高质量、多样化、有审美的跨模态数据，并提升端到端模型的语音理解和表达能力。 2、基于 SOTA omni 基座模型，在语音、视觉、文本长序列混合后训练中，通过多种训练方法保证语音能力充分发挥的同时，又不削弱模型智商与图文表现。 3、构建语音质量与语义一致性的 Reward 模型；通过 RLHF/RLAIF/Self-Rewarding 以及 Session level RL 技术提升模型在实时对话中的语义、情绪理解能力，语音表达的自然度、逻辑一致性。 4、与工程、产品团队协同，把实验成果快速迁移到线上服务，并探索基于线上用户的语音交互反馈实现在线 RL 迭代提升。
【训练推理框架研发】 大模型hi lab AI Infra团队专注于大语言模型领域的前沿技术研究和落地，提供高性能、高可靠、可扩展的机器学习系统、丰富的异构计算资源和极致的端到端的机器学习服务体验，为公司提供核心技术能力和服务。 1、负责机器学习框架的研究与开发，服务于公司各个产品； 2、高效部署，优化NLP/多模态大模型核心业务模型； 【轻量化】 机器学习系统团队需要将传统或者新型的轻量化算法和工程有机结合起来进行加速，提高大语言模型训练或者推理性能的同时，通过算法手段尽可能降低效果损失。候选人将在以下几个方向进行深入探索和落地： 1、量化方向：负责但不限于大语言模型的低精度训练(FP8)、推理（W8A8KV8等）、低精度优化器（量化梯度、优化器状态、参数等） 2、高性能模型结构：大语言模型Finetune或者其他阶段的LoRA系列（熟悉各种变种），训练阶段的MQA/GQA系列等 3、稀疏化方向：大语言模型剪枝、稀疏、蒸馏、Sparse Attention等 4、新型方向：Medusa、超长文本、Speculative Sampling等
在算力驱动的 AGI 和人文精神的烟火气交汇之处，我们真诚邀请对 AI 技术有信仰的同学加入，共同打造更具影响力的智能系统。你会成为团队的一员，并和其他同事协作，共同研发 SOTA 的智能技术。期待你以务实和客观的科学态度来推进技术的进展，不被过往经验裹挟、不被主观偏好影响。期待你除了算法外仍然是为出色的工程师。期待你对技术有强烈的好奇心和开放心态，以未来几年 AI 技术的质变突破为目标。 岗位说明：你会负责下述至少一件事情 1.海量的多模态数据处理：定性分析、定量评估数据质量，并给出 scalable 的改进方案，协助搭建多模态的数据流程； 2.搭建多模态的模型架构，在多种技术方案中找到 trade off 的关键，搭建更高效且可扩展的模型框架 3.研究并改进多模态模型的 Scale Law，随着模型的变化给出 Large Scale 上的技术选择（例如参数/数据比、不同超参数设置等）