腾讯混元大模型训练框架研发工程师-(北京/深圳)
社招全职5年以上公共技术地点:北京状态:招聘
任职要求
1.熟练使用PyTorch框架,可对DDP训练的代码进行性能分析和优化;
2.熟练使用主流大模型训练框架DeepSpeed、Megatron,掌握3D并行、ZeRO机制、Flash-Attn等的原理、使用场景、优劣势以及可优化方向;
3.有V…登录查看完整任职要求
微信扫码,1秒登录
工作职责
1.参与开发优化大模型训练框架,支持单任务万卡以上规模高效稳定训练; 2.参与NLP、多模态大模型结构设计,并联合业务进行模型训练效率和效果验证; 3.参与文生图、文生视频、文生3D等业务的训练性能加速; 4.参与低精度训练性能优化和业务推广、参与大窗口训练性能优化。
包括英文材料
PyTorch+
https://datawhalechina.github.io/thorough-pytorch/
PyTorch是利用深度学习进行数据科学研究的重要工具,在灵活性、可读性和性能上都具备相当的优势,近年来已成为学术界实现深度学习算法最常用的框架。
https://www.youtube.com/watch?v=V_xro1bcAuA
Learn PyTorch for deep learning in this comprehensive course for beginners. PyTorch is a machine learning framework written in Python.
还有更多 •••
相关职位
社招TEG技术
1.参与开发优化大模型训练框架,支持单任务万卡以上规模高效稳定训练; 2.参与NLP、多模态大模型结构设计,并联合业务进行模型训练效率和效果验证; 3.参与文生图、文生视频、文生3D等业务的训练性能加速; 4.参与低精度训练性能优化和业务推广、参与大窗口训练性能优化。
更新于 2025-05-26北京
社招3年以上AI技术
1.负责语音/音频大模型研发,包括语音对话(语音交互/音视频对话)、音频理解(ASR/音频caption)、音频生成(TTS/视频配音)等模型研发; 2.负责语音/音频大模型的预训练、后训练、强化学习(文本和音频强化)相关的数据和算法工作; 3.负责语音对话/音频理解/音频生成的模型开源以及产品落地(比如语音对话产品全链路端到端优化、音频理解在噪音/口音/远场/音效音乐场景的优化、语音合成在播报/闲聊/游戏/社交等场景的优化)。
更新于 2025-12-12深圳
社招3年以上混元-模型算法技
1.负责大语言模型(LLM)规划、推理、反思能力的研究,提升大语言模型的高阶推理能力; 2.跟进推理领域的前沿技术,将其应用于混元大模型基座,持续提升大模型的推理能力。
更新于 2025-10-31深圳