快手AI推理优化工程师/专家-大模型
社招全职D11722地点：北京状态：招聘
任职要求
1、具备良好的团队协作能力，热爱钻研技术，善于分析、解决工程问题； 2、掌握C++/Python编程语言，熟悉常用数据结构； 3、熟悉深度学习基本知识，熟悉Transformer/Bert网络结构及优化经验更佳； 4、熟悉Pytorch、TensorFlow、ONNX等框架，有二次开发能力或开源社区贡献经历更佳； 5、对NVIDIA GPU有深入理解，熟练掌握TensorRT开发及CUDA编程； 6、拥有以下经验者优先： （1）有异构计算、HPC、编译等领域开发经验； （2）有Nsight System、Nsight Compute、DL Prof、perf等工具使用经验； （3）熟悉TVM/MLIR/XLA等AI编译优化技术更佳。
工作职责
1、利用图优化，编译优化，CPU/GPU优化等技术加速CV/NLP/Speech等AI算法推理，充分挖掘处理器算力，为快手数亿用户提供高效稳定的算法能力输出； 2、追踪业界在异构计算性能优化方面的发展，并进行预研和应用探索； 3、工作内容包括但不限于： （1）CUDA kernel开发； （2）编译优化技术开发； （3）onnx parser开发； （4）训推一体加速库开发； （5）多卡推理技术开发； （6）针对Transformer/bert网络结构性能优化。
包括英文材料
C+++
https://www.learncpp.com/
LearnCpp.com is a free website devoted to teaching you how to program in modern C++.
https://www.youtube.com/watch?v=ZzaPdXTrSb8
Python+
https://liaoxuefeng.com/books/python/introduction/index.html
中文，免费，零起点，完整示例，基于最新的Python 3版本。
https://www.learnpython.org/
a free interactive Python tutorial for people who want to learn Python, fast.
https://www.youtube.com/watch?v=K5KVEU3aaeQ
Master Python from scratch 🚀 No fluff—just clear, practical coding skills to kickstart your journey!
https://www.youtube.com/watch?v=rfscVS0vtbw
This course will give you a full introduction into all of the core concepts in python.
数据结构+
https://www.youtube.com/watch?v=8hly31xKli0
In this course you will learn about algorithms and data structures, two of the fundamental topics in computer science.
https://www.youtube.com/watch?v=B31LgI4Y4DQ
Learn about data structures in this comprehensive course. We will be implementing these data structures in C or C++.
https://www.youtube.com/watch?v=CBYHwZcbD-s
Data Structures and Algorithms full course tutorial java
深度学习+
https://d2l.ai/
Interactive deep learning book with code, math, and discussions.
Transformer+
https://huggingface.co/learn/llm-course/en/chapter1/4
Breaking down how Large Language Models work, visualizing how data flows through.
https://poloclub.github.io/transformer-explainer/
An interactive visualization tool showing you how transformer models work in large language models (LLM) like GPT.
https://www.youtube.com/watch?v=wjZofJX0v4M
Breaking down how Large Language Models work, visualizing how data flows through.
PyTorch+
https://datawhalechina.github.io/thorough-pytorch/
PyTorch是利用深度学习进行数据科学研究的重要工具，在灵活性、可读性和性能上都具备相当的优势，近年来已成为学术界实现深度学习算法最常用的框架。
https://www.youtube.com/watch?v=V_xro1bcAuA
Learn PyTorch for deep learning in this comprehensive course for beginners. PyTorch is a machine learning framework written in Python.
TensorFlow+
https://www.youtube.com/watch?v=tpCFfeUEGs8
Ready to learn the fundamentals of TensorFlow and deep learning with Python? Well, you’ve come to the right place.
https://www.youtube.com/watch?v=ZUKz4125WNI
This part continues right where part one left off so get that Google Colab window open and get ready to write plenty more TensorFlow code.
ONNX+
https://github.com/onnx/tutorials
Open Neural Network Exchange (ONNX) is an open standard format for representing machine learning models.
[英文] Introduction to ONNX
https://onnx.ai/onnx/intro/
This documentation describes the ONNX concepts (Open Neural Network Exchange).
TensorRT+
https://docs.nvidia.com/deeplearning/tensorrt/latest/getting-started/quick-start-guide.html
This TensorRT Quick Start Guide is a starting point for developers who want to try out the TensorRT SDK; specifically, it demonstrates how to quickly construct an application to run inference on a TensorRT engine.
CUDA+
https://developer.nvidia.com/blog/even-easier-introduction-cuda/
This post is a super simple introduction to CUDA, the popular parallel computing platform and programming model from NVIDIA.
https://www.youtube.com/watch?v=86FAWCzIe_4
Lean how to program with Nvidia CUDA and leverage GPUs for high-performance computing and deep learning.
HPC+
https://www.ibm.com/think/topics/hpc
HPC is a technology that uses clusters of powerful processors that work in parallel to process massive, multidimensional data sets and solve complex problems at extremely high speeds.
Nsight+
https://developer.nvidia.com/tools-tutorials
NVIDIA Nsight™ Developer tools are a suite of tools for building, profiling, and debugging accelerated applications.
https://www.youtube.com/watch?v=aQ1NYoRvp7o
Profile Python for AI and deep learning applications with NVIDIA's suite of Nsight Developer Tools.
https://www.youtube.com/watch?v=Iuy_RAvguBM
Join NVIDIA’s Jackson Marusarz for an introduction to NVIDIA Nsight Compute, a tool for in-depth analysis of CUDA kernel performance on GPUs.
Perf+
https://perfwiki.github.io/main/
perf is powerful: it can instrument CPU performance counters, tracepoints, kprobes, and uprobes (dynamic tracing).
https://www.brendangregg.com/bpf-performance-tools-book.html
This book can help you get the most out of your systems and applications, helping you improve performance, reduce costs, and solve software issues.
[英文] perf Examples
https://www.brendangregg.com/perf.html
These are some examples of using the perf Linux profiler, which has also been called Performance Counters for Linux (PCL), Linux perf events (LPE), or perf_events.
https://www.youtube.com/watch?v=M6ldFtwWup0
相关职位
社招5-10年引擎
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 1、参与/负责研发面向大语言模型(LLM)/多模态大模型(MLLM)等类型模型的推理服务框架； 2、通过并行计算优化、分布式架构优化、异构调度等多种框架技术，打造高效、易用、领先的AI推理框架； 2、深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、工作流编排等； 3、与全公司各业务算法部门深度合作，为重点项目进行算法与系统的联合优化，支撑业务目标达成。
更新于 2025-10-18
社招技术类-开发
1、大模型关键技术突破，构建AI应用开发平台核心竞争力，支撑共享引擎大模型业务的快速推进和迭代。 2、洞察业界AI大模型应用开发平台的前沿技术，跟踪业界与学术界最新研究动态，围绕大模型应用的高成功率、高执行效率、低门槛，持续探索和突破大模型应用平台创新技术。 3、深度参与深度学习大模型产品研发，工程优化和应用过程中的技术落地，重点关注大模型部署、对齐、模型评估、推理优化加速等
更新于 2025-06-20
社招A00725A
团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责开发和优化字节跳动公司级的大模型推理框架； 2、主要通过GPU、CUDA性能优化的手段，结合线上实际情况，打造业界领先的高性能LLM推理引擎； 3、负责机器学习系统前瞻技术的调研和引入； 4、与算法部门深度合作，进行算法与系统的联合优化。
更新于 2024-05-08
社招算法工程
1.负责智能驾驶模型训练优化的研究和落地，通过数据并行，模型并行，通信优化，CUDA算子优化等，大幅提升模型的训练速度与效率。 2.深入分析训练系统，定位和解决训练系统各个层次的性能瓶颈，不断提升训练效率，推进算法的高效选代
更新于 2025-10-11