小鹏汽车大语言模型预训练算法实习生
任职要求
岗位需求 1. 教育背景： 计算机、人工智能、数学、物理等相关专业硕士及以上学位，有顶级会议（如NeurIPS, ICML, ICLR, AAAI等）论文发表经验者优先。 2. 核心算法理解： 深入理解Transformer、GPT、LLaMA、Qwen等主流模型架构的底层数学原理与训练细节，对Linear attention、RMSNorm、DynamicTanh (DyT)、Mixture of Experts (MoE)等关键模块有独到见解。 3. 分布式训练实战经验： 具备主导或深度参与LLM预训练的实际经验，熟悉PyTorch、DeepSpeed、Megatron-LM等分布式训练框架。 4. 专业素养： 具备严谨的实验设计和结果分析能力，能够主动发现并解决训练过程中的复杂算法问题。 5. 沟通协作： 具备优秀的沟通能力和团队合作精神，能够与数据、系统、硬件等不同背景的团队高效协作。 6. 加分项：有使用过大于128张GPU进行LLM预训练等经验。
工作职责
我们正在寻找对大语言模型（LLM）的底层原理、性能优化和高效预训练充满热情的算法实习生。您将加入我们的核心研发团队，主要负责LLM预训练阶段的算法设计、优化与实现，包括模型架构的探索、训练稳定性的提升、大规模分布式训练的优化等。我们的目标是基于业务需求，设计并训练对硬件计算友好的语言模型，从根本上突破模型的性能和训练效率极限，加速LLM在人形机器人、自动驾驶、多模态等前沿领域的落地。 工作职责： 1. LLM预训练算法研发与实现： 主导1~7B参数级别的Dense以及MoE Transformer模型以及其他前沿架构在预训练阶段的设计、实验与优化，以提升模型的基础能力和效率。 2. 基准测试与性能优化： 负责模型训练过程中的关键性能指标监测与优化，特别是MMLU, GSM8K, MATH等常见标准化测试的表现。通过算法迭代，持续提高模型在理解、推理和泛化能力方面的分数。 3. 训练稳定性与效率提升： 负责分析和解决超大规模训练过程中的数值不稳定、梯度爆炸/消失等问题，引入和实现如混合精度训练、梯度裁剪、学习率调度等优化策略。 4. 前沿技术追踪与转化： 紧密追踪全球LLM预训练、Scaling Law、新型优化器（如AdamW、Lion）等最新研究进展，评估并将业界顶尖的算法创新快速转化为我们的核心竞争力。 5. 跨团队协作： 与数据工程师紧密合作，分析数据对预训练效果的影响，并与系统/硬件工程师协作，共同调优底层计算资源以实现最高训练吞吐。
ByteIntern：面向2026届毕业生（2025年9月-2026年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：Data-电商团队，负责电商创新项目的算法和大数据工作。依托于字节跳动产品，帮助用户发现并获得好物，享受美好生活。在这个团队，我们不仅要通过推荐和搜索算法帮助用户买到感兴趣的好东西，也要通过风控算法和智能平台治理算法去甄别违规行为，保护用户的购物体验；我们还要建设智能客服技术、大规模商品知识图谱来提升各个交易环节的效率；我们也要结合机器学习和运筹算法，来优化供应链和物流的效率和成本，并进一步提升用户体验；另外我们还会用人工智能来帮助商家提升经营能力。我们的使命：没有难卖的优价好物，让美好生活触手可得。 1、大模型算法研发：构建电商领域的大模型LLM底座，融合电商的知识，快速落地电商业务，例如：沉淀电商大模型预训练链路，研发电商NLP大模型，或者研发电商图文或者视频多模态大模型； 2、基础算法研发：持续建设和深耕NLP/CV/多模态基础预训练算法（BERT类算法），例如：沉淀&优化电商场景的预训练模型，包括超长文本/口语文本预训练，电商图片/视频自监督，适配电商商品的多模态表征学习等； 3、梳理&沉淀算法库，抽象算法接口，最大化提高算法/预训练模型的复用率，同时优化数据采集&模型训练&部署&推理的流程，提升研发效率； 4、技术输出：定期分享SOTA模型，赋能电商甚至公司级别的业务BU，沉淀专利和论文。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：Data-电商团队，负责电商创新项目的算法和大数据工作。依托于字节跳动产品，帮助用户发现并获得好物，享受美好生活。在这个团队，我们不仅要通过推荐和搜索算法帮助用户买到感兴趣的好东西，也要通过风控算法和智能平台治理算法去甄别违规行为，保护用户的购物体验；我们还要建设智能客服技术、大规模商品知识图谱来提升各个交易环节的效率；我们也要结合机器学习和运筹算法，来优化供应链和物流的效率和成本，并进一步提升用户体验；另外我们还会用人工智能来帮助商家提升经营能力。我们的使命：没有难卖的优价好物，让美好生活触手可得。 1、大模型算法研发：构建电商领域的大模型LLM底座，融合电商的知识，快速落地电商业务，例如：沉淀电商大模型预训练链路，研发电商NLP大模型，或者研发电商图文或者视频多模态大模型； 2、基础算法研发：持续建设和深耕NLP/CV/多模态基础预训练算法（BERT类算法），例如：沉淀&优化电商场景的预训练模型，包括超长文本/口语文本预训练，电商图片/视频自监督，适配电商商品的多模态表征学习等； 3、梳理&沉淀算法库，抽象算法接口，最大化提高算法/预训练模型的复用率，同时优化数据采集&模型训练&部署&推理的流程，提升研发效率； 4、技术输出：定期分享SOTA模型，赋能电商甚至公司级别的业务BU，沉淀专利和论文。
ByteIntern：面向2026届毕业生（2025年9月-2026年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：Data-电商团队，负责电商创新项目的算法和大数据工作。依托于字节跳动产品，帮助用户发现并获得好物，享受美好生活。在这个团队，我们不仅要通过推荐和搜索算法帮助用户买到感兴趣的好东西，也要通过风控算法和智能平台治理算法去甄别违规行为，保护用户的购物体验；我们还要建设智能客服技术、大规模商品知识图谱来提升各个交易环节的效率；我们也要结合机器学习和运筹算法，来优化供应链和物流的效率和成本，并进一步提升用户体验；另外我们还会用人工智能来帮助商家提升经营能力。我们的使命：没有难卖的优价好物，让美好生活触手可得。 1、大模型算法研发：构建电商领域的大模型LLM底座，融合电商的知识，快速落地电商业务，例如：沉淀电商大模型预训练链路，研发电商NLP大模型，或者研发电商图文或者视频多模态大模型； 2、基础算法研发：持续建设和深耕NLP/CV/多模态基础预训练算法（BERT类算法），例如：沉淀&优化电商场景的预训练模型，包括超长文本/口语文本预训练，电商图片/视频自监督，适配电商商品的多模态表征学习等； 3、梳理&沉淀算法库，抽象算法接口，最大化提高算法/预训练模型的复用率，同时优化数据采集&模型训练&部署&推理的流程，提升研发效率； 4、技术输出：定期分享SOTA模型，赋能电商甚至公司级别的业务BU，沉淀专利和论文。
团队介绍：字节跳动剪映研发团队，主要支持剪映、醒图、Faceu 等多款国内外产品的研发工作，业务覆盖多元化影像创作场景，截止2021年6月，相关产品多次登顶国内外App Store 免费应用榜第一，并继续保持高速增长。加入我们，一起打造全球最受用户欢迎的影像创作产品。 课题介绍： 1、课题背景： 1）数字化营销时代，企业对高质量、多样化营销素材的需求呈爆发式增长。从社交媒体图文到短视频广告，从个性化推荐文案到多模态互动内容，营销场景的复杂化与用户需求的碎片化对素材生成效率、创意水平和精准度提出了更高要求。传统依赖人工策划与设计的模式成本高、周期长，难以满足实时化、动态化、规模化的业务需求。尽管生成式AI（AIGC）技术（如GPT等）已在文本、图像生成领域取得突破，但在营销场景中仍面临创意适配性差、多模态协同能力弱、品牌一致性难保障等瓶颈。本课题旨在研发“创作领域Agent”，通过智能技术实现从策略洞察到内容生产的全链路自动化，推动营销效率与效果的革命性升级。 2）随着大语言模型、多模态模型等大模型的成熟，通过视觉理解、语音识别、文本生成等AI大模型能力，提升视频剪辑效率，基于创作者的需求和创意，高效的创作出炫酷、个性化的视频成为了可能。当前行业虽已有部分智能剪辑工具，但大多局限于规则化操作，成片或缺乏对用户意图的理解，效果同质化，或缺乏成片逻辑与情感，机械堆砌素材。 本课题旨在研究适合视频剪辑的大模型技术，结合剪映平台的强大剪辑能力和效果，打造一个智能剪辑的智能体（Agent），赋能自媒体内容生产、影视工业化、广告营销等场景。 2、课题挑战： 1、创意与商业价值的平衡：AI生成内容易陷入同质化，需突破算法在品牌调性理解、用户情感共鸣、营销目标对齐等方面的局限，确保创意兼具新颖性与商业转化价值。 2、多模态动态协同：文本、图像、视频等模态的生成需实现语义与风格的跨模态对齐，且需支持动态组合与实时迭代（如根据用户反馈即时优化素材）。 3、复杂场景泛化能力：营销场景高度细分（如电商促销、品牌故事、危机公关），Agent需具备上下文感知与领域迁移能力，避免“一刀切”生成策略。 4、计算效率与资源限制：高分辨率视觉素材生成、多版本AB测试等场景对算力需求极高，需优化模型轻量化与推理速度，满足企业级部署的可行性。 5、伦理与合规风险：需解决版权争议（如AI生成素材的版权归属）、内容安全（如虚假宣传、文化敏感性）等问题，构建可信可控的生成框架。 6、视频数据复杂性远超图片和文字，巨量的用户素材，要通过大模型去精准理解，并与图片、音频、文字等多模态特征统一，对多模态模型理解能力和推理优化，提出了极高要求。 7、大模型对素材编排和剪辑的结果，可能偏离用户真实意图，既要避免输出模板化、同质化，又要结合用户个性化和创意，在风格、节奏等维度上加入“人性化创意”。 8、大参数模型训练成本高，推理慢，如何通过模型优化、工程优化等手段，给移动端、PC等终端用户极致的体验，也是课题的一大挑战。 职位描述： 1、负责剪映CapCut的AI视频编辑方向的Agent模型训练与评测，使用SFT/RLHF/Post-training等技术对视频创作进行领域知识建模； 2、提升视频创作Agent大模型的增强模型和安全能力的指令遵从能力、提升Pre-trained Model在视频创作的能力，构建行业领先的视频创作专家的智能Agent。