快手多模态大模型后训练算法专家-【Keye】
任职要求
1、硕士及以上学历，计算机科学、人工智能、自动化、数学等相关专业优先； 2、精通多模态任务设计范式（如视觉思维链、跨模态推理链），具备CoT提示工程、Reward Model设计经验，掌握合成数据生成、多模态数据清洗、数据质量评估工具开发。熟练应用PyTorch+DeepSpeed、Megatron-LM等分布式框架，精通QLoRA、DPO、RLHF以及PPO/GRPO/DAPO等后训练技术； 3、主导过千亿级模型的后训练全流程，包括SFT数据构建、RM训练、RLHF/DPO对齐优化、端侧量化部署。具备丰富的多模态数据治理经验，如构建百万级图文对齐数据集，或设计视频-文本跨模态评测基准； 4、热衷于推动多模态大模型、生成式AI、Agent等前沿技术在快手生态中的发展与应用，能系统性拆解业务需求为并制定可量化的任务目标。具备跨团队协同能力，能够有效推动算法、数据、工程团队建立标准化数据交付流程。
工作职责
1、主导多模态大模型的后训练全流程优化，包括指令微调（SFT）、强化学习（RLHF/DPO/PPO）、模型蒸馏等技术的研发与工程实现，持续提升模型在通用领域及垂直领域（如短视频理解、电商理解）的泛化能力和安全性； 2、参与多模态合成数据生成（覆盖纯文本、图文及视频等内容理解维度）、建立数据质量评估体系，设计数据蒸馏流程，推动数据-模型-评测迭代优化； 3、面向短视频社区、电商内容理解等场景，解决后训练阶段的核心挑战，如跨模态对齐一致性、长上下文推理、多任务指令冲突优化以及多模态智能推理探索等；推动技术成果转化，主导模型在快手短视频社区的集成落地（例如RAG增强系统、多模态Agent任务规划），并通过API封装与服务化支撑业务创新； 4、跟踪前沿多模态大模型后训练技术的前沿演进，探索SFT自动化迭代、轻量化RLHF以及reward model一体化等创新技术方向，形成专利或顶会论文提升团队技术影响力。
1. 探索研究多模态理解、视频理解等方向的前沿技术； 2. 关注多模态、全模态大模型的后训练相关技术，研判RL在多模态理解上的潜力；
1、参与设计并实现 代码生成（可视化方向）、Function call、RAG等方向的大模型后训练算法。 2、结合业务数据和场景，设计Post training的高质量数据构建方案（含数据洞察、数据合成、数据质量优化等）提升模型的应用效果。 3、与工程以及产运团队协作，参与或负责大语言模型、多模态大模型等业务场景的后训练端到端效果提升及落地； 4、密切关注业界 LLM 微调算法和数据提质领域的前沿论文，并整合新技术和算法到训练引擎中，提升框架的领先性；
1、参与设计并实现 代码生成（可视化方向）、Function call、RAG等方向的大模型后训练算法。 2、结合业务数据和场景，设计Post training的高质量数据构建方案（含数据洞察、数据合成、数据质量优化等）提升模型的应用效果。 3、与工程以及产运团队协作，参与或负责大语言模型、多模态大模型等业务场景的后训练端到端效果提升及落地； 4、密切关注业界 LLM 微调算法和数据提质领域的前沿论文，并整合新技术和算法到训练引擎中，提升框架的领先性；
中台稠密引擎组，是小红书负责建设通用深度学习训练推理引擎的团队，面向全公司LLM、多模态LLM、SD、传统CV&NLP等稠密计算型模型训练与推理的业务场景，打造高效、易用、业界领先的训练与推理引擎，为小红书社区、商业化、安全等众多业务方向提供先进的引擎能力，支撑业务持续提升训练推理效率、模型迭代效率与算法研发效率。 1、参与设计和实现深度学习后训练及微调的前沿算法（包括但不限于RFT、RLHF等），以适应多样化的业务场景； 2、结合业务数据和场景，评估选择最适合的微调算法，以支撑业务大语言模型（LLM）微调指标的提升； 3、与数据团队紧密合作，深入理解数据特性，参与设计实现数据提质算法引擎工具，产出高质量数据集提升模型微调效果； 4、与公司内各算法团队深度合作，参与或负责大语言模型、多模态大模型等业务场景的后训练端到端效果提升及落地； 5、密切关注业界 LLM 微调算法和数据提质领域的前沿论文，并整合新技术和算法到训练引擎中，提升框架的领先性；