小红书大模型预训练算法工程师
任职要求
对大模型方向充满兴趣,且能充分意识到数据对于模型能力的重要价值和数据侧的巨大空间
有很好的数据感觉,对人类文明积累下来的…工作职责
建立文本和多模态数据源、数据格式解析(网页,PDF等)、数据策略、模型能力、下游任务的全链路归因能力 建立并持续完善的数据质量、多样性、重复度、覆盖率等评估体系,分析和量化每个维度的影响 针对模型核心能力进行重点强化,包括不限于数学、推理、Code、Agent、ICL、OCR等 探索如何使用更少数据量,达到同样模型能力的策略,持续提升per token的通用能力训练效果 探索基于各类策略
1、建立文本和多模态数据源、数据格式解析(网页,PDF等)、数据策略、模型能力、下游任务的全链路归因能力 2、建立并持续完善的数据质量、多样性、重复度、覆盖率等评估体系,分析和量化每个维度的影响 3、针对模型核心能力进行重点强化,包括不限于数学、推理、Code、Agent、ICL、OCR等 4、探索如何使用更少数据量,达到同样模型能力的策略,持续提升per token的通用能力训练效果 5、探索基于各类策略的高质量数据生成方式,定向优化特定模型能力和为长期Scaling Law解决数据缺失问题
1、多模态大模型算法研发:构建电商领域的多模态大模型底座,融合电商的知识,快速落地电商业务,例如:沉淀电商大模型预训练链路,研发电商图文或者视频多模态大模型和相关应用链路; 2、基础算法研发:持续建设和深耕CV/多模态基础预训练算法,例如:沉淀&优化电商场景的预训练模型,基于电商图片/视频自监督,适配电商商品的多模态表征学习等; 3、梳理&沉淀算法库,抽象算法接口,最大化提高算法/预训练模型的复用率,同时优化数据采集&模型训练&部署&推理的流程,提升研发效率; 4、技术输出:定期分享SOTA模型,赋能电商甚至公司级别的业务BU,沉淀专利和论文。
1、负责汽车三电系统的性能与能耗的优化,将业务问题数学建模,并开发相关优化算法解决问题 2、负责能耗预测、温度预测等时序预测问题的解决,合理构建特征,选择模型,实现精准预测 3. 负责上述相关算法的车端部署、测试,支持量产交付
1、大模型算法研发:构建电商领域的大模型LLM底座,融合电商的知识,快速落地电商业务,例如:沉淀电商大模型预训练链路,研发电商NLP大模型,或者研发电商图文或者视频多模态大模型; 2、基础算法研发:持续建设和深耕NLP/CV/多模态基础预训练算法(BERT类算法),例如:沉淀&优化电商场景的预训练模型,包括超长文本/口语文本预训练,电商图片/视频自监督,适配电商商品的多模态表征学习等; 3、梳理&沉淀算法库,抽象算法接口,最大化提高算法/预训练模型的复用率,同时优化数据采集&模型训练&部署&推理的流程,提升研发效率; 4、技术输出:定期分享SOTA模型,赋能电商甚至公司级别的业务BU,沉淀专利和论文。