字节跳动AI模型训练和推理优化工程师-电商
任职要求
1、扎实的机器技术基础，了解前沿的AI技术，有不错的工程实践经验优先； 2、熟悉TensorFlow/PyTorch模型的训练和部署，了解混合精度训练、分布式训练等训练加速方法优先； 3、了解模型推理加速的研究和技术进展，包括但不限于模型量化、剪枝、TensorRT推理优化等； 4、了解业界常用的大语言模型推理加速框架，如VLLM，TensorRT-LLM等； 5、在深度学习框架上不错的研究，非常熟悉Tensorflow/PyTorch，熟悉常用的分布式加速库包括但不限于：Megatron，DeepSpeed等，有较强的实践能力，在框架优化上做过研究的优先； 6、熟悉常用的深度学习代码库包括Hugginface/Transformers，Fairseq，Gluon NLP/CV，PaddlePaddle，Mindspore等，并且有丰富的开发经验。
工作职责
团队介绍：Data-电商-平台治理-内容理解基础算法团队，主要 focus 在 NLP/CV/多模态的大模型算法和基础算法研发上，旨在沉淀CV/NLP/多模态方向上的业界SOTA模型，针对电商数据优化算法，支持模型训练和推理加速，提升电商业务效果。 1、模型压缩和推理框架开发：推理加速的研究，包括但不限于模型量化、剪枝、TensorRT、TensorRT-LLM推理优化等； 2、梳理&沉淀算法库：抽象算法接口，提高算法/预训练模型的复用率，同时优化数据采集和模型训练的流程，提升效率； 3、技术输出：定期分享训练和推理优化技术，赋能业务，沉淀专利和论文。
团队介绍：Data-电商-平台治理-内容理解基础算法团队，主要 focus 在 NLP/CV/多模态的大模型算法和基础算法研发上，旨在沉淀CV/NLP/多模态方向上的业界SOTA模型，针对电商数据优化算法，支持模型训练和推理加速，提升电商业务效果。 1、模型压缩和推理框架开发：推理加速的研究，包括但不限于模型量化、剪枝、TensorRT、TensorRT-LLM推理优化等； 2、梳理&沉淀算法库：抽象算法接口，提高算法/预训练模型的复用率，同时优化数据采集和模型训练的流程，提升效率； 3、技术输出：定期分享训练和推理优化技术，赋能业务，沉淀专利和论文。
1、推理框架开发，适配电商内部自研NLP/CV/MLLM等模型架构，开发针对电商场景的高性能推理框架； 2、模型推理加速研究，包括但不限于模型量化蒸馏剪枝，低精度计算，CUDA算子优化，并行计算优化，投机采样，PD分离等加速手段； 3、负责模型训练优化算法的研究与开发，运用数据并行、模型并行、通信优化等前沿技术，提升模型训练速度及效率； 4、技术输出：定期分享训练和推理优化技术，赋能业务，沉淀专利和论文。
1、推理框架开发，适配电商内部自研NLP/CV/MLLM等模型架构，开发针对电商场景的高性能推理框架； 2、模型推理加速研究，包括但不限于模型量化蒸馏剪枝，低精度计算，CUDA算子优化，并行计算优化，投机采样，PD分离等加速手段； 3、负责模型训练优化算法的研究与开发，运用数据并行、模型并行、通信优化等前沿技术，提升模型训练速度及效率； 4、技术输出：定期分享训练和推理优化技术，赋能业务，沉淀专利和论文。
1、推理框架开发，适配电商内部自研NLP/CV/MLLM等模型架构，开发针对电商场景的高性能推理框架； 2、模型推理加速研究，包括但不限于模型量化蒸馏剪枝，低精度计算，CUDA算子优化，并行计算优化，投机采样，PD分离等加速手段； 3、负责模型训练优化算法的研究与开发，运用数据并行、模型并行、通信优化等前沿技术，提升模型训练速度及效率； 4、技术输出：定期分享训练和推理优化技术，助力业务，沉淀专利和论文。