字节跳动AI模型训练/推理优化工程师—抖音电商
任职要求
1、扎实的机器技术基础,了解前沿的AI技术,有不错的工程实践经验优先; 2、熟悉模型推理加速的研究和技术进展,包括但不限于模型量化、剪枝、算子优化等; 3、了解业界常用的大语言模型推理加速框架,如SGLang,vLLM,TensorRT-LLM等; 4、有CUDA开发经验,熟悉TensorRT/Triton/Cutlass经验者优先; 5、熟悉LLM模型训练优化,了解混合精度训练、分布式训练等训练加速方法优先; 6、有大模型训练优化经验,熟悉FSDP/DeepSpeed/Megatron等分布式训练框架经验者优先;训练/推理优化满足一条即可。
工作职责
1、推理框架开发,适配电商内部自研NLP/CV/MLLM等模型架构,开发针对电商场景的高性能推理框架; 2、模型推理加速研究,包括但不限于模型量化蒸馏剪枝,低精度计算,CUDA算子优化,并行计算优化,投机采样,PD分离等加速手段; 3、负责模型训练优化算法的研究与开发,运用数据并行、模型并行、通信优化等前沿技术,提升模型训练速度及效率; 4、技术输出:定期分享训练和推理优化技术,赋能业务,沉淀专利和论文。
团队介绍:Data-电商-平台治理-内容理解基础算法团队,主要 focus 在 NLP/CV/多模态的大模型算法和基础算法研发上,旨在沉淀CV/NLP/多模态方向上的业界SOTA模型,针对电商数据优化算法,支持模型训练和推理加速,提升电商业务效果。 1、模型压缩和推理框架开发:推理加速的研究,包括但不限于模型量化、剪枝、TensorRT、TensorRT-LLM推理优化等; 2、梳理&沉淀算法库:抽象算法接口,提高算法/预训练模型的复用率,同时优化数据采集和模型训练的流程,提升效率; 3、技术输出:定期分享训练和推理优化技术,赋能业务,沉淀专利和论文。
团队介绍:Data-电商-平台治理-内容理解基础算法团队,主要 focus 在 NLP/CV/多模态的大模型算法和基础算法研发上,旨在沉淀CV/NLP/多模态方向上的业界SOTA模型,针对电商数据优化算法,支持模型训练和推理加速,提升电商业务效果。 1、模型压缩和推理框架开发:推理加速的研究,包括但不限于模型量化、剪枝、TensorRT、TensorRT-LLM推理优化等; 2、梳理&沉淀算法库:抽象算法接口,提高算法/预训练模型的复用率,同时优化数据采集和模型训练的流程,提升效率; 3、技术输出:定期分享训练和推理优化技术,赋能业务,沉淀专利和论文。
1、推理框架开发,适配电商内部自研NLP/CV/MLLM等模型架构,开发针对电商场景的高性能推理框架; 2、模型推理加速研究,包括但不限于模型量化蒸馏剪枝,低精度计算,CUDA算子优化,并行计算优化,投机采样,PD分离等加速手段; 3、负责模型训练优化算法的研究与开发,运用数据并行、模型并行、通信优化等前沿技术,提升模型训练速度及效率; 4、技术输出:定期分享训练和推理优化技术,赋能业务,沉淀专利和论文。