米哈游LLM预训练数据算法实习生
任职要求
任职要求： 计算机科学、人工智能或相关专业硕士及以上在读； 熟练掌握 Python 及主流数据处理框架（如 Pandas, PySpark），具备扎实的工程实现能力； 深入理解大语言模型的预训练数据构建全流程（从数据源到模型输入），熟悉主流模型架构（如 Transformer）和基础训练范式； 对语言模型和对话系统充满热情，热衷于探索其背后的工作原理与应用场景。 加分项 加分项（满足一项或多项）： 数据审美与…
工作职责
职位描述 作为一名核心的数据算法实习生，你将直接参与构建和优化我们核心大语言模型的预训练数据。你将从数据源头开始，通过科学的数据工程与算法策略，深刻影响模型的底层能力、知识广度和思想深度。 岗位职责： 数据工程与基建： 负责大模型预训练数据的全流程构建，包括多源数据发现与评估、自动化清洗与去重、结构化与内容安全处理； 数据策略与实验： 设计并执行数据配比、质量筛选、混合合成策略的对比实验，以科学方法驱动模型性能的持续提升； 前沿数据构建： 洞察模型能力的瓶颈，主动构想并构建能突破当前模型“天花板”的新型训练数据（如高质量对话、复杂推理链、代码-文本对等），探索数据创新的前沿； 数据效果分析： 分析模型在不同数据上的训练动态与性能表现，建立“数据-模型能力”的量化洞察，为数据决策提供依据。
你将深入探索大模型训练中“数据-模型-算力”的核心关系，致力于揭示数据学习的底层物理规律。具体工作内容包括： 1. 数据学习效率机制研究 • 探索数据分布、数据密度与模型学习效果之间的映射关系，研究这一规律随模型规模（Model Size）及网络结构（Architecture）变化的演变趋势； • 设计量化指标，精准度量训练数据中不同部分的状态（如 Under-learned vs. Over-learned），并基于此探索相关的 Scaling Law，指导数据配比优化； 2. 数据效用度量与预测 • 构建数据总效用的评估体系，探索如何预测一份数据整体的潜在学习收益； • 研究模型训练动力学，判断训练特定阶段的数据效用饱和点（Saturation Point），评估继续训练的边际收益（ROI），为训练停止或数据切换提供理论依据。
作为一名核心的预训练数据算法研究员，你将直接参与构建和优化我们核心大语言模型的预训练，并侧重在 code、agentic、reasoning-heavy 类任务的高质量训练数据集搭建；包含但不限于数据收集、合成数据生成、任务行为轨迹构建等。 1.开发并生成用于大模型训练的合成任务与数据集，涵盖两类场景： 可验证类任务：代码解题、数学计算题等； 不可验证类任务：开放式逻辑推理、通用综合问题求解等。 2.搭建并规模化运行多领域数据合成流程，覆盖 agent、code、math、general reasoning； 3.参与搭建 agentic task environments 以及配套的大模型训练评测体系。
作为一名预训练数据算法研究员，你将负责开发大语言模型训练所需的大规模数据处理算法与数据学习策略。 主要负责： 1.针对多源数据设计并开发code类数据、通用文本数据清洗、增强、合成算法； 2.基于大语言模型研发并迭代数据筛选策略，提升预训练语料的数据质量； 3.搭建并规模化优化数据处理流水线，保障高并发场景下的运行性能与稳定性。
1. Agent方向：直接参与到导购Agent的算法研发工作，包含无障碍导购Agent、搜索导购Agent两个Agent项目并结合技术创新与实际业务落地，产出高质量论文、专利与开源成果。包括相关项目的高质量数据构建，支撑复杂任务建模与行为学习，运用大模型SFT、RL等Post-training训练方法并探索 Online RL 等前沿方法，设计并落地“过程监督 + 结果监督”联合训练范式，融合MCTS、ToT、Reflection等推理方法，等等； 2. LLM应用方向：探索基于LLM的Query理解大模型，通过天猫的数据微调大模型生成ID表征向量，在搜索和推荐算法各模块进行深度的探索和应用。包括但不限于语义相关性、类目预测、召回排序等。探索生成式搜索技术（如Query扩展、结果摘要生成），助力搜索从“信息呈现”向“决策辅助”升级； 3. 结合业务需求，设计和扩展LLM的应用场景范围及规模，提高模型微调后再垂直领域的应用及专家模式的架构尝试； 4. 跟踪LLM与Agent领域的国际前沿技术动态，开展前沿算法的研究工作，推动技术创新在业务场景中的落地应用，重点突破复杂推理、GUI Agent、AI搜索等方向的技术沉淀和业务创新。