字节跳动AI模型训练/推理优化工程师——抖音电商
任职要求
1、扎实的机器技术基础，了解前沿的AI技术，有不错的工程实践经验优先； 2、熟悉模型推理加速的研究和技术进展，包括但不限于模型量化、剪枝、算子优化等； 3、了解业界常用的大语言模型推理加速框架，如SGLang，vLLM，TensorRT-LLM等； 4、有CUDA开发经验，…
工作职责
1、推理框架开发，适配电商内部自研NLP/CV/MLLM等模型架构，开发针对电商场景的高性能推理框架； 2、模型推理加速研究，包括但不限于模型量化蒸馏剪枝，低精度计算，CUDA算子优化，并行计算优化，投机采样，PD分离等加速手段； 3、负责模型训练优化算法的研究与开发，运用数据并行、模型并行、通信优化等前沿技术，提升模型训练速度及效率； 4、技术输出：定期分享训练和推理优化技术，赋能业务，沉淀专利和论文。
团队介绍：Data-电商-平台治理-内容理解基础算法团队，主要 focus 在 NLP/CV/多模态的大模型算法和基础算法研发上，旨在沉淀CV/NLP/多模态方向上的业界SOTA模型，针对电商数据优化算法，支持模型训练和推理加速，提升电商业务效果。 1、模型压缩和推理框架开发：推理加速的研究，包括但不限于模型量化、剪枝、TensorRT、TensorRT-LLM推理优化等； 2、梳理&沉淀算法库：抽象算法接口，提高算法/预训练模型的复用率，同时优化数据采集和模型训练的流程，提升效率； 3、技术输出：定期分享训练和推理优化技术，赋能业务，沉淀专利和论文。
团队介绍：Data-电商-平台治理-内容理解基础算法团队，主要 focus 在 NLP/CV/多模态的大模型算法和基础算法研发上，旨在沉淀CV/NLP/多模态方向上的业界SOTA模型，针对电商数据优化算法，支持模型训练和推理加速，提升电商业务效果。 1、模型压缩和推理框架开发：推理加速的研究，包括但不限于模型量化、剪枝、TensorRT、TensorRT-LLM推理优化等； 2、梳理&沉淀算法库：抽象算法接口，提高算法/预训练模型的复用率，同时优化数据采集和模型训练的流程，提升效率； 3、技术输出：定期分享训练和推理优化技术，赋能业务，沉淀专利和论文。
1、推理框架开发，适配电商内部自研NLP/CV/MLLM等模型架构，开发针对电商场景的高性能推理框架； 2、模型推理加速研究，包括但不限于模型量化蒸馏剪枝，低精度计算，CUDA算子优化，并行计算优化，投机采样，PD分离等加速手段； 3、负责模型训练优化算法的研究与开发，运用数据并行、模型并行、通信优化等前沿技术，提升模型训练速度及效率； 4、技术输出：定期分享训练和推理优化技术，赋能业务，沉淀专利和论文。
1、推理框架开发，适配电商内部自研NLP/CV/MLLM等模型架构，开发针对电商场景的高性能推理框架； 2、模型推理加速研究，包括但不限于模型量化蒸馏剪枝，低精度计算，CUDA算子优化，并行计算优化，投机采样，PD分离等加速手段； 3、负责模型训练优化算法的研究与开发，运用数据并行、模型并行、通信优化等前沿技术，提升模型训练速度及效率； 4、技术输出：定期分享训练和推理优化技术，助力业务，沉淀专利和论文。