logo of bytedance

字节跳动AI模型训练/推理优化工程师——抖音电商

社招全职A133922地点:上海状态:招聘

任职要求


1、扎实的机器技术基础,了解前沿的AI技术,有不错的工程实践经验优先;
2、熟悉模型推理加速的研究和技术进展,包括但不限于模型量化、剪枝、算子优化等;
3、了解业界常用的大语言模型推理加速框架,如SGLang,vLLMTensorRT-LLM等;
4、有CUDA开发经验,熟悉TensorRT/Triton/Cutlass经验者优先;
5、熟悉LLM模型训练优化,了解混合精度训练、分布式训练等训练加速方法优先;
6、有大模型训练优化经验,熟悉FSDP/DeepSpeed/Megatron等分布式训练框架经验者优先;训练/推理优化满足一条即可。

工作职责


1、推理框架开发,适配电商内部自研NLP/CV/MLLM等模型架构,开发针对电商场景的高性能推理框架;
2、模型推理加速研究,包括但不限于模型量化蒸馏剪枝,低精度计算,CUDA算子优化,并行计算优化,投机采样,PD分离等加速手段;
3、负责模型训练优化算法的研究与开发,运用数据并行、模型并行、通信优化等前沿技术,提升模型训练速度及效率;
4、技术输出:定期分享训练和推理优化技术,赋能业务,沉淀专利和论文。
包括英文材料
大模型+
vLLM+
TensorRT+
CUDA+
DeepSpeed+
Megatron+
相关职位

logo of bytedance
社招A16043

团队介绍:Data-电商-平台治理-内容理解基础算法团队,主要 focus 在 NLP/CV/多模态的大模型算法和基础算法研发上,旨在沉淀CV/NLP/多模态方向上的业界SOTA模型,针对电商数据优化算法,支持模型训练和推理加速,提升电商业务效果。 1、模型压缩和推理框架开发:推理加速的研究,包括但不限于模型量化、剪枝、TensorRT、TensorRT-LLM推理优化等; 2、梳理&沉淀算法库:抽象算法接口,提高算法/预训练模型的复用率,同时优化数据采集和模型训练的流程,提升效率; 3、技术输出:定期分享训练和推理优化技术,赋能业务,沉淀专利和论文。

更新于 2024-07-11
logo of bytedance
社招A120609

团队介绍:Data-电商-平台治理-内容理解基础算法团队,主要 focus 在 NLP/CV/多模态的大模型算法和基础算法研发上,旨在沉淀CV/NLP/多模态方向上的业界SOTA模型,针对电商数据优化算法,支持模型训练和推理加速,提升电商业务效果。 1、模型压缩和推理框架开发:推理加速的研究,包括但不限于模型量化、剪枝、TensorRT、TensorRT-LLM推理优化等; 2、梳理&沉淀算法库:抽象算法接口,提高算法/预训练模型的复用率,同时优化数据采集和模型训练的流程,提升效率; 3、技术输出:定期分享训练和推理优化技术,赋能业务,沉淀专利和论文。

更新于 2024-07-11
logo of bytedance
社招A147384

1、推理框架开发,适配电商内部自研NLP/CV/MLLM等模型架构,开发针对电商场景的高性能推理框架; 2、模型推理加速研究,包括但不限于模型量化蒸馏剪枝,低精度计算,CUDA算子优化,并行计算优化,投机采样,PD分离等加速手段; 3、负责模型训练优化算法的研究与开发,运用数据并行、模型并行、通信优化等前沿技术,提升模型训练速度及效率; 4、技术输出:定期分享训练和推理优化技术,赋能业务,沉淀专利和论文。

更新于 2025-01-20
logo of bytedance
社招A133881A

1、推理框架开发,适配电商内部自研NLP/CV/MLLM等模型架构,开发针对电商场景的高性能推理框架; 2、模型推理加速研究,包括但不限于模型量化蒸馏剪枝,低精度计算,CUDA算子优化,并行计算优化,投机采样,PD分离等加速手段; 3、负责模型训练优化算法的研究与开发,运用数据并行、模型并行、通信优化等前沿技术,提升模型训练速度及效率; 4、技术输出:定期分享训练和推理优化技术,助力业务,沉淀专利和论文。

更新于 2025-04-21