小红书预训练算法工程师
任职要求
对大模型方向充满兴趣，且能充分意识到数据对于模型能力的重要价值和数据侧的巨大空间 有很好的数据感觉，对人类文明积累下来的优质数据分布有很好的判断 有很好的NLP/多模态经验，在数据和算法方向上有深度的工作 工程能力强，有大规模数据处理的经验
工作职责
建立文本和多模态数据源、数据格式解析(网页，PDF等)、数据策略、模型能力、下游任务的全链路归因能力 建立并持续完善的数据质量、多样性、重复度、覆盖率等评估体系，分析和量化每个维度的影响 针对模型核心能力进行重点强化，包括不限于数学、推理、Code、Agent、ICL、OCR等 探索如何使用更少数据量，达到同样模型能力的策略，持续提升per token的通用能力训练效果 探索基于各类策略的高质量数据生成方式，定向优化特定模型能力和为长期Scaling Law解决数据缺失问题
1、建立文本和多模态数据源、数据格式解析(网页，PDF等)、数据策略、模型能力、下游任务的全链路归因能力 2、建立并持续完善的数据质量、多样性、重复度、覆盖率等评估体系，分析和量化每个维度的影响 3、针对模型核心能力进行重点强化，包括不限于数学、推理、Code、Agent、ICL、OCR等 4、探索如何使用更少数据量，达到同样模型能力的策略，持续提升per token的通用能力训练效果 5、探索基于各类策略的高质量数据生成方式，定向优化特定模型能力和为长期Scaling Law解决数据缺失问题
建立文本和多模态数据源、数据格式解析(网页，PDF等)、数据策略、模型能力、下游任务的全链路归因能力 建立并持续完善的数据质量、多样性、重复度、覆盖率等评估体系，分析和量化每个维度的影响 针对模型核心能力进行重点强化，包括不限于数学、推理、Code、Agent、ICL、OCR等 探索如何使用更少数据量，达到同样模型能力的策略，持续提升per token的通用能力训练效果 探索基于各类策略
1. 负责AGI前沿方向体系化调研； 2. 负责世界基座模型的预训练工作； 3. 专利/论文撰写，形成行业影响力； 4. 联合量产团队完成研发落地闭环。 【课题名称】 智驾基座模型预训练 【课题内容】 以实现物理世界AGI技术栈，提升车辆智能度和安全性为目标，进行智驾基座模型的预训练，支撑下一代E2E方案研发，包含规控SFT/RFT等。
1. 负责AGI前沿方向体系化调研； 2. 负责世界基座模型的预训练工作； 3. 专利/论文撰写，形成行业影响力； 4. 联合量产团队完成研发落地闭环。 【课题名称】 智驾基座模型预训练 【课题内容】 以实现物理世界AGI技术栈，提升车辆智能度和安全性为目标，进行智驾基座模型的预训练，支撑下一代E2E方案研发，包含规控SFT/RFT等。