小红书【REDstar】基座大模型算法工程师
任职要求
1、本科及以上学历，计算机、人工智能和数学等相关专业； 2、熟练掌握扩散模型设计和使用技巧，在知名大模型公司/团队从事图像或视频生成者优先，有多模态/OMNI大模型理解&生成统一框架经验者优先； 3、有丰富的大模型预训练和后训练数据处理经验，熟练掌握数据收集、数据清洗、数据去重和数据合成等流程，能针对数据质量制定出评估指标和方法，在知名大模型公司/团队长期从事数据技术者优先； 4、MoE/Dense模型训练实战经验，包括模型预训练、RL Reasoning、SFT和RLHF等，熟练掌握各种模型训练和推理技巧，在大模型前沿技术领域有深度探索，发表过顶会论文、技术报告者优先； 5、熟悉大模型训练和推理框架，熟练掌握模型并行、数据并行和流水线设计等技巧，在知名大模型公司/团队长期从事AI Infra者优先； 6、熟悉各类评测基准和构造技巧，熟练掌握大模型客观评测和主观评测方法，在知名大模型公司/团队长期从事大模型评测者优先； 7、有良好代码能力，熟练掌握Python、C++和JAVA等编程技能，知名开源项目核心贡献者优先，ACM/ICPC竞赛获奖者优先，国内外知名数据挖掘比赛（例如KDD Cup等）中取得领先名次者优先。
工作职责
1、探索新一代大语言模型基座架构，完成扩散模型（diffusion model）在大语言模型的重塑，突破逐个token预测的方式，实现高效的推理模式，探索全新scaling law； 2、实现大模型训练的数据清洗、合成和评估；设计和实现大模型训练的AI Infra框架。
1、负责小红书搜广推多场景召回与排序模型优化，提升时长、互动、留存等核心指标； 2、核心技术方向包括：LLM应用于推荐系统，基于搜广推全域信号打通的图神经网络预训练模型，深度进化学习应用于全系统参数自动搜索，多模态在召回/排序等模块的应用等技术方向；在小红书独特的双列社区产品形态下，探索最适合社区产品的种草拔草全链路建模范式； 3、业务落地场景包括：双列推荐/展示/搜索/电商广告的模型，用户/资源冷启动，重排和多资源混排场景等。
1、基于小红书海量的用户行为数据，建立并优化广告系统的算法和机制，优化面向行业广告主的算法策略，包括用户理解、行业深度优化、行业投放策略等； 2、对业界前沿技术保持敏感，结合业务特点，探索将前沿的算法技术应用于实际业务，实现技术落地。
1、负责小红书App社区（主站）的推荐、搜索、交易、增长、直播等业务场景的技术探索，能够从复杂的业务环境中抽象出清晰具体的技术问题，并将大模型、机器学习等技术有效应用于小红书App社区建设上，与各部门（包括并不限于产品，基础技术等）的同事一起深入交流合作，共同迭代和优化社区产品，提升亿级用户体验，Inspire Life； 2、构建小红书App社区（主站）的内容、用户之间的生产、关系、分发、消费机制，利用Query理解、多模态内容理解、相关性/召回/排序算法、深度学习、因果推断、迁移学习、跨域表征、多任务学习、图网络、运筹学、博弈机制等技术，持续建设图文&视频内容的大规模推荐/搜索/交易/知识生产等系统，通过策略和模型优化不断提升实现SOTA效果。
模型压缩方向： 1、探索研发针对大语言模型、多模态大模型、StableDiffusion模型等模型的压缩技术，包括但不限于量化、蒸馏、剪枝、稀疏化等； 2、参与/负责多个业务场景中的模型压缩技术实现，对模型进行轻量化压缩，提高训练/推理效率，支持业务降本增效。 推理框架方向： 1、参与/负责研发面向CV/NLP/多模态/大语言模型等类型模型的推理服务框架； 2、通过并行计算优化、分布式架构优化、异构调度等多种框架技术，打造高效、易用、领先的AI推理框架。 高性能计算方向： 1、参与/负责AI推理/训练框架的底层性能优化工作，包括但不限于高性能算子、通信库开发与优化等工作； 2、参与/负责大模型计算引擎的研发工作，通过多种方式实现训推性能SOTA； 3、参与/负责前沿AI编译加速等技术的探索和业务落地。 模型训练方向： 1、负责调度公司所有模型训练与推理资源； 2、基于自建的训推引擎，构建公司统一的机器学习平台，为公司所有算法同学（稀疏 & 稠密，含 LLM） 模型迭代提供端到端的一站式服务；包括 数据生产，模型训练，模型上线，特征管理，模型测试，资源管控等一系列能力。