腾讯微信-后台开发高级工程师-大模型训练框架方向(上海)
社招全职2年以上WXG技术地点:北京状态:招聘
任职要求
1.计算机相关专业本科及以上学历,2年以上相关开发经验,具备良好的工程素养; 2.熟悉某一深度学习训练框架,如 PyTorch、TensorFlow、Megatron-LM、DeepSpeed、Transformers 等,有底层优化或开源经验; 3.具备良好的沟通能力和团队协作精神,积极主动,勇于接受挑战。 加分项 1.有昇腾、Gaudi等 ASIC 算力设备上的开发经验; 2.熟悉大模型算法,设计方案时能做算法和工程的协同设计; 3.实际进行百卡以上的训练任务,并对训练性能做过调优。
工作职责
1.研发微信内通用的大模型训练框架 gCore 的研发,支持文本、多模态、文生图/视频等不同业务场景,以及预训练、SFT、RLHF等不同阶段的训练需求。通过并行策略和算子优化,使得 gCore 在不同的模型上都能达到 SOTA 的训练吞吐。
包括英文材料
学历+
深度学习+
https://d2l.ai/
Interactive deep learning book with code, math, and discussions.
PyTorch+
https://datawhalechina.github.io/thorough-pytorch/
PyTorch是利用深度学习进行数据科学研究的重要工具,在灵活性、可读性和性能上都具备相当的优势,近年来已成为学术界实现深度学习算法最常用的框架。
https://www.youtube.com/watch?v=V_xro1bcAuA
Learn PyTorch for deep learning in this comprehensive course for beginners. PyTorch is a machine learning framework written in Python.
TensorFlow+
https://www.youtube.com/watch?v=tpCFfeUEGs8
Ready to learn the fundamentals of TensorFlow and deep learning with Python? Well, you’ve come to the right place.
https://www.youtube.com/watch?v=ZUKz4125WNI
This part continues right where part one left off so get that Google Colab window open and get ready to write plenty more TensorFlow code.
Megatron+
https://www.youtube.com/watch?v=hc0u4avAkuM
DeepSpeed+
https://www.youtube.com/watch?v=pDGI668pNg0
大模型+
https://www.youtube.com/watch?v=xZDB1naRUlk
You will build projects with LLMs that will enable you to create dynamic interfaces, interact with vast amounts of text data, and even empower LLMs with the capability to browse the internet for research papers.
https://www.youtube.com/watch?v=zjkBMFhNj_g
算法+
https://roadmap.sh/datastructures-and-algorithms
Step by step guide to learn Data Structures and Algorithms in 2025
https://www.hellointerview.com/learn/code
A visual guide to the most important patterns and approaches for the coding interview.
https://www.w3schools.com/dsa/
相关职位
社招2年以上WXG技术
1.研发微信内通用的大模型训练框架 gCore 的研发,支持文本、多模态、文生图/视频等不同业务场景,以及预训练、SFT、RLHF等不同阶段的训练需求。通过并行策略和算子优化,使得 gCore 在不同的模型上都能达到 SOTA 的训练吞吐。
更新于 2025-05-28
社招WXG技术
1.跟进业界最新推理框架并应用于业务,保障业务的多机多卡模型训练与推理部署; 2.参与企业微信机器学习、深度学习模型落地的工程化开发,优化AI推理服务的可用性和稳定性; 3.带领团队高效率高质量完成大模型业务落地。
更新于 2025-06-18
社招WXG技术
1.跟进业界最新推理框架并应用于业务,保障业务的多机多卡模型训练与推理部署; 2.参与企业微信机器学习、深度学习模型落地的工程化开发,优化AI推理服务的可用性和稳定性; 3.带领团队高效率高质量完成大模型业务落地。
更新于 2025-05-21