腾讯混元文本/多模态预训练框架研发工程师（深圳/北京/上海/杭州）
任职要求
1.熟练使用主流大模型训练框架DeepSpeed、Megatron，掌握3D并行、ZeRO机制、Flash-Attn等的原理、使用场景、优劣势以及可优化方向；
2.有ViT、SD、DiT模型训练性能优化经验…工作职责
1.参与开发优化大模型训练框架，支持单任务万卡以上规模高效稳定训练； 2.参与NLP、多模态大模型结构设计，并联合业务进行模型训练效率和效果验证； 3.参与文生图、文生视频、文生3D等业务的训练性能加速； 4.参与低精度训练性能优化和业务推广、参与大窗口训练性能优化。
1.负责语音/音频大模型研发，包括语音对话（语音交互/音视频对话）、音频理解（ASR/音频caption）、音频生成（TTS/视频配音）等模型研发； 2.负责语音/音频大模型的预训练、后训练、强化学习（文本和音频强化）相关的数据和算法工作； 3.负责语音对话/音频理解/音频生成的模型开源以及产品落地（比如语音对话产品全链路端到端优化、音频理解在噪音/口音/远场/音效音乐场景的优化、语音合成在播报/闲聊/游戏/社交等场景的优化）。
1.跟踪业界最新的语音生成算法研究，探索下一代语音、音频生成新范式，拓展语音生成边界能力； 2.探索多模态语音大模型的前沿技术，结合文本、语音、视觉等技术提升语音交互体验； 3.负责语音大模型的技术研发工作，推动模型性能提升与创新应用。
1.多模态数据管线建设：设计并实现面向大模型训练与推理的多模态数据处理与构建管线，覆盖图像、视频、音频、文本、3D 及多模态理解等数据类型，支撑预训练、后训练（SFT / RLHF / Preference）及评测数据构建； 2.大规模数据工程与系统建设：构建高可靠、可扩展的数据处理系统，支持 TB / PB 级数据规模，负责批处理与流式处理任务的工程实现，参与或主导分布式并行计算（CPU / GPU 混合）的工程落地； 3.数据质量与稳定性保障：建立数据校验与质量评估机制，覆盖数据完整性、一致性、分布异常与质量回归等场景，设计并推动数据处理链路的监控与异常治理； 4.数据资产化与标准化建设：推动多模态数据结构的标准化设计，建设数据元信息、版本管理与可追溯机制，提升数据的可复用性与长期资产价值； 5.跨团队协作与需求落地：与算法、模型、平台等团队深度协作，将模型需求与业务目标转化为可落地的数据工程方案，参与复杂数据问题的拆解、方案设计与推进落地。
1.数据特征算法：负责海量文本&多模态数据（图像，视频，音频，3D）的内容理解（如分类标签体系、embedding表征、Caption生成等），质量检测（低质识别检测、优质美学评价等），去重/聚类分析，数据合成等算法； 2.数据pipeline建设：负责数据采集、筛选清洗、标注与质量评估pipeline的建设。与模型业务团队紧密配合，充分分析挖掘数据资源，建立自动化数据处理流程与机制，支持模型持续迭代； 3.数据实验分析：对模型训练数据进行详细分析，建立科学数据实验机制，识别样本不足、质量问题、配比不均衡等潜在问题，驱动数据优化提升数据覆盖、质量、多样性需求，最终带来大模型生成效果的持续提升。