腾讯微信-基础大模型训练框架高级研发工程师
社招全职WXG技术地点:深圳状态:招聘
任职要求
1.熟练使用PyTorch框架,可对DDP训练的代码进行性能分析和优化; 2.熟练使用主流大模型训练框架DeepSpeed、Megatron,掌握3D并行、ZeRO机制、Flash-Attn等的原理、使用场景、优劣势以及可优化方向; 3.熟练掌握CUDA性能优化手段,有算子编写优化项目经验者优先; 4.对大模型前沿技术比较敏锐者优先; 5.有实际大模型的训练调参和效果评测项目经验的优先; 6.良好的沟通能力、解决问题能力。 加分项 1.该岗位可灵活 base 在北京深圳或广州。
工作职责
1.参与开发优化大模型训练框架,支持大规模高效稳定训练; 2.参与大模型结构设计,并联合业务进行模型训练效率和效果验证。
包括英文材料
PyTorch+
https://datawhalechina.github.io/thorough-pytorch/
PyTorch是利用深度学习进行数据科学研究的重要工具,在灵活性、可读性和性能上都具备相当的优势,近年来已成为学术界实现深度学习算法最常用的框架。
https://www.youtube.com/watch?v=V_xro1bcAuA
Learn PyTorch for deep learning in this comprehensive course for beginners. PyTorch is a machine learning framework written in Python.
大模型+
https://www.youtube.com/watch?v=xZDB1naRUlk
You will build projects with LLMs that will enable you to create dynamic interfaces, interact with vast amounts of text data, and even empower LLMs with the capability to browse the internet for research papers.
https://www.youtube.com/watch?v=zjkBMFhNj_g
DeepSpeed+
https://www.youtube.com/watch?v=pDGI668pNg0
Megatron+
https://www.youtube.com/watch?v=hc0u4avAkuM
CUDA+
https://developer.nvidia.com/blog/even-easier-introduction-cuda/
This post is a super simple introduction to CUDA, the popular parallel computing platform and programming model from NVIDIA.
https://www.youtube.com/watch?v=86FAWCzIe_4
Lean how to program with Nvidia CUDA and leverage GPUs for high-performance computing and deep learning.
相关职位
社招微信技术
1.设计、开发和优化机器学习模型,应用于微信小店及微信交易的内容审核、风险控制、商家行为监管和用户安全等治理场景; 2.基于海量的数据,进行数据清洗、特征提取、模型训练和评估,提升平台违规行为检测的准确性和效率; 3.参与反作弊、负向信息过滤、虚假交易检测等关键系统的算法研发和优化,维护平台生态健康; 4.持续跟踪机器学习领域的前沿技术和应用,推动新技术在平台治理中的落地和创新; 5.根据平台实际业务需求,开发并维护可扩展、高效的算法框架和工具,提升治理系统的稳定性和灵活性。
更新于 2025-05-27
社招5年以上企业微信SaaS
1.负责机器学习模型、深度学习模型在企业微信的落地,包括但不限于对大模型的RL、SFT、强化学习; 2.负责探索与跟进AIGC前沿技术,推动技术框架持续迭代升级,保持行业同类竞品前沿水平; 3.带领团队高效率高质量完成深度学习模型落地。
更新于 2025-09-18