小红书大模型后训练算法工程师/专家

任职要求

任职资格：
1、在后训练微调领域拥有丰富的项目经验，熟悉LoRA、DPO、PPO、KTO、ReFT等算法原理，具备扎实的数学基础，熟悉线性代数、概率统计、优化算法等。
2、了解至少一种主流深度学习框架（如PyTorch、PaddlePaddle、TensorFlow等）的内部原理与实现，并具备直接开发或二次开发经验。
3、对Megatron-LM、DeepSpeed等分布式框架及LLaMA-Factory、ms-swift等大模型微调工具库有一定的了解或相关开发经验。
4、具备优秀的算法研发能力，对LLM领域前沿技术有热情，能够自驱地设计丰富的实验并完成论文技术的落地验证。
5、拥有良好的沟通表达能力和团队协作精神，具有强烈的责任心和使命感。
加分项：
1、在顶级会议或期刊上发表过相关研究论文。
2、拥有LLM领域大规模数据处理经验。
3、在后训练微调引擎方面具有实战经验。

工作职责

中台稠密引擎组，是小红书负责建设通用深度学习训练推理引擎的团队，面向全公司LLM、多模态LLM、SD、传统CV&NLP等稠密计算型模型训练与推理的业务场景，打造高效、易用、业界领先的训练与推理引擎，为小红书社区、商业化、安全等众多业务方向提供先进的引擎能力，支撑业务持续提升训练推理效率、模型迭代效率与算法研发效率。
1、参与设计和实现深度学习后训练及微调的前沿算法（包括但不限于RFT、RLHF等），以适应多样化的业务场景；
2、结合业务数据和场景，评估选择最适合的微调算法，以支撑业务大语言模型（LLM）微调指标的提升；
3、与数据团队紧密合作，深入理解数据特性，参与设计实现数据提质算法引擎工具，产出高质量数据集提升模型微调效果；
4、与公司内各算法团队深度合作，参与或负责大语言模型、多模态大模型等业务场景的后训练端到端效果提升及落地；
5、密切关注业界 LLM 微调算法和数据提质领域的前沿论文，并整合新技术和算法到训练引擎中，提升框架的领先性；