小红书大模型预训练算法工程师
任职要求
对大模型方向充满兴趣，且能充分意识到数据对于模型能力的重要价值和数据侧的巨大空间 有很好的数据感觉，对人类文明积累下来的优质数据分布有很好的判断 有很好的NLP/多模态经验，在数据和算法方向上有深度的工作 工程能力强，有大规模数据处理的经验
工作职责
建立文本和多模态数据源、数据格式解析(网页，PDF等)、数据策略、模型能力、下游任务的全链路归因能力 建立并持续完善的数据质量、多样性、重复度、覆盖率等评估体系，分析和量化每个维度的影响 针对模型核心能力进行重点强化，包括不限于数学、推理、Code、Agent、ICL、OCR等 探索如何使用更少数据量，达到同样模型能力的策略，持续提升per token的通用能力训练效果 探索基于各类策略
1、建立文本和多模态数据源、数据格式解析(网页，PDF等)、数据策略、模型能力、下游任务的全链路归因能力 2、建立并持续完善的数据质量、多样性、重复度、覆盖率等评估体系，分析和量化每个维度的影响 3、针对模型核心能力进行重点强化，包括不限于数学、推理、Code、Agent、ICL、OCR等 4、探索如何使用更少数据量，达到同样模型能力的策略，持续提升per token的通用能力训练效果 5、探索基于各类策略的高质量数据生成方式，定向优化特定模型能力和为长期Scaling Law解决数据缺失问题
我们期望打造世界一流的预训练 LLM 基座，开发涵盖参数量从几百M到T级的基座模型，并将作为 Qwen / QwenVL / Qwen-Omni / Qwen-Coder 等系列模型的基座。我们追求将现有的预训练技术做到极致，并积极探索下一代的预训练技术。 工作职责： 1. 预训练数据：大规模预训练数据合成技术探索、STEM & reasoning 优化、长尾知识优化、精品数据挖掘过滤、自然数据 scaling、长文本优化、面向 test-time scaling 的数据优化。 2. 预训练策略：新型预训练损失函数探索、遗忘对抗与持续学习、optimizer 优化、lr scheduler 优化、课程学习、scaling law 预测、超参优化。 3. 模型结构：新型模型结构探索、模型可解释性、MoE 优化、参数扩展与裁剪蒸馏、线性注意力、动态稀疏注意力、draft model 优化、动态计算优化、KV cache压缩、长序列优化、decoding 加速等。
-建设在重点应用场景效果领先的VL视觉理解大模型 -研究持续预训练（CPT）及退火训练技术，通过高质量领域数据增强垂直领域基座模型 -研究垂直领域的奖励规则和奖励模型，通过强化学习后训练，提升基座模型的领域知识推理能力 -研究前沿的文本/多模态模型架构与高效的训练推理技术，在先进模型结构、对齐训练算法、强化学习、推理时scaling、高效奖励模型设计、视觉推理、机制解释等方向深入研究并产出有影响力的结果
-建设在重点应用场景效果领先的VL视觉理解大模型-研究持续预训练(CPT)及退火训练技术，垂直领域基座模型； -研究垂直领域的奖励规则和奖励模型，通过强化学习后训练，提升基座模型的领域知识推理能力； -研究前沿的文本/多模态模型架构与高效的训练推理技术，在先进模型结构、对齐训练算法、强化学习、推理时scaling、高效奖励模型设计、视觉推理、机制解释等方向深入研究并产出有影响力的结果。