小红书ACE实习生——大模型数据采集

工作描述

任职要求
• 基础要求：
• 计算机相关专业本科在读，保证每周 4 天以上实习时间。
• 极客般的 Coding 能力： C++ 或 Python 功底深厚，对内存管理、并发控制有极致的追求。
• 大数据工程素养： 熟悉 Linux 生态，不仅会用，更懂得如何调试复杂的分布式任务。
• 加分项（满足任一条请直接联系）：
• 竞赛大神： ACM-ICPC / CCPC 金银牌选手，或 Codeforces 高分选手。（我们需要你解决 O(n) 复杂度下的海量数据去重与图算法问题）
• Spark 内核玩家： 熟悉 Spark/Flink 原理，甚至阅读过源码、提交过核心模块 PR 者优先。（这里是我们的主战场）
• 工程洁癖： 痛恨低效代码，对性能极其敏感，致力于将数据处理效率提升 10 倍以上。
• (注：我们更看重你的算法潜力与工程直觉，无需具备特定的爬虫经验)
【你将获得】
1. 顶级视野： 你的工作处于大模型训练的最上游，你构建的数据集将直接决定 SOTA 模型的上限。
2. 核心位置： 在"数据为王"的时代，你掌握了定义"什么是好数据"的权力。
3. 工程历练： 接触工业界真实的 PB 级数据处理挑战，解决教科书里遇不到的分布式难题。
4. 硬核导师： 直接汇报给预训练核心成员，深入理解…