小红书文本预训练实习生
任职要求
1、计算机相关方向本科及以上学历； 2、良好的编程能力，熟练运用Python语言，熟悉常见的机器学习框架； 3、熟悉常见的机器学习和N…
工作职责
1、海量文本数据处理，包括基于模型和启发式规则的数据解析、数据清洗/过滤、数据画像等； 2、跟踪探索文本合成的sota算法，完成T级别数据合成，包括通用数据合成、问答数据合成、数学数据合成等； 3、跟踪最新NLP研究成果，并应用到文本大模型预训练中。
工作内容 1. 海量文本数据分布式处理: 研究数据驱动算法和启发式规则，构建高效的大数据计算系统，设计数据实验体系，为大模型训练提供高质量的数据支持。 2. 前沿数据合成算法研究与实现: 探索数据合成方法，研究其对大模型能力提升的极限可能性。 3. 大模型推理能力优化: 聚焦数学、代码及通用推理能力，探索如何通过预训练数据设计实现能力的数量级突破。 我们提供 1. 学习成长：深入参与大模型最前沿研究，接触真实的大模型训练流程，积累宝贵的实战经验。 2. 导师指导：资深研究员一对一指导，帮助你在理论和实践能力上快速成长。 3. 计算资源充沛: 提供等效万卡GPU，近10万核CPU 进行实验与探索。
该职位会专注于大规模离线LLM推理在文本处理场景中的研究和开发，具体职责包括： 1、大模型的量化调优，在较低内存和CPU算力的环境中，依然可以达到较高的token处理和生成速率。 2、常用推理框架(e.g. vLLM, Llama.cpp)，在网页文本处理任务上的性能调优，特别是针对质量分计算或者打标场景的调优。 3、中低端GPU对于小参数LLM(1.5B/3B/7B/14B等规格）的推理性能调优。
1.参与开发优化大模型训练框架，支持单任务万卡以上规模高效稳定训练； 2.参与NLP、多模态大模型结构设计，并联合业务进行模型训练效率和效果验证； 3.参与文生图、文生视频、文生3D等业务的训练性能加速； 4.参与低精度训练性能优化和业务推广、参与大窗口训练性能优化。
1. 负责AI技术在游戏场景内的应用，例如游戏智能NPC、AI玩法、Agent工具提效等； 2. 具备较强的自驱力，追踪前沿技术，完成人设对话、AI agent等相关课题的研究论文； 3. 和上下游保持较好的沟通和协作，确保项目的推进和上线。