logo of bytedance

字节跳动硬件加速推理引擎运行时开发工程师-Data(北京)

社招全职3年以上A34182地点:北京状态:招聘

任职要求


1、计算机科学、电子工程、数学或相关领域的本科及以上学历;3年以上推理引擎、编译器或高性能计算相关开发经验;
2、熟悉C++/Python编程语言,具备扎实的编程能力和代码优化经验;
3、熟悉深度学习框架(如TensorFlowPyTorchONNX等)的运行时机制;
4、熟悉计算机体系结构,了解CPU、GPU、NPU等硬件架构;
5、熟悉多线程编程、内存管理和性能优化技术;
6、良好的沟通能力和团队协作精神,具备较强的问题分析和解决能力。

以下为加分项:
1、熟悉模型量化、剪枝、蒸馏等模型压缩技术;
2、熟悉LLVM、MLIR等编译器技术;
3、有开源项目贡献经验;
4、有边缘计算设备或嵌入式系统开发经验;
5、有推理引擎(如TensorRT、OpenVINO、TVM等)开发或优化经验。

工作职责


1、设计并实现推理引擎的核心运行时组件,包括模型加载、图优化、算子调度、内存管理等;
2、开发和维护推理引擎的运行时库,支持多种深度学习框架(如TensorFlow、PyTorch、ONNX等);分析和解决推理引擎在运行时中的性能瓶颈,提升吞吐量和降低延迟;
3、针对不同硬件平台(CPU、GPU、NPU等)进行推理引擎的性能优化,包括算子优化、内存优化和计算图优化;
4、开发和维护推理引擎的跨平台支持,确保其在多种操作系统(Linux、Windows、嵌入式系统等)和硬件架构上稳定运行;
5、开发和维护推理引擎的编译工具链,支持模型转换、量化、剪枝等优化技术;提供调试和Profiling工具,帮助开发者分析和优化推理性能;
6、与算法和产品团队合作,支持新模型和新算子的快速集成和部署,确保推理引擎满足实际业务需求。
包括英文材料
学历+
推理引擎+
C+++
Python+
深度学习+
TensorFlow+
PyTorch+
ONNX+
多线程+
LLVM+
TensorRT+
相关职位

logo of bytedance
社招3年以上A48524A

1、设计并实现推理引擎的核心运行时组件,包括模型加载、图优化、算子调度、内存管理等; 2、开发和维护推理引擎的运行时库,支持多种深度学习框架(如TensorFlow、PyTorch、ONNX等);分析和解决推理引擎在运行时中的性能瓶颈,提升吞吐量和降低延迟; 3、针对不同硬件平台(CPU、GPU、NPU等)进行推理引擎的性能优化,包括算子优化、内存优化和计算图优化; 4、开发和维护推理引擎的跨平台支持,确保其在多种操作系统(Linux、Windows、嵌入式系统等)和硬件架构上稳定运行; 5、开发和维护推理引擎的编译工具链,支持模型转换、量化、剪枝等优化技术;提供调试和Profiling工具,帮助开发者分析和优化推理性能; 6、与算法和产品团队合作,支持新模型和新算子的快速集成和部署,确保推理引擎满足实际业务需求。

更新于 2025-03-19
logo of bytedance
社招3年以上A192916

1、设计并实现推理引擎的核心运行时组件,包括模型加载、图优化、算子调度、内存管理等; 2、开发和维护推理引擎的运行时库,支持多种深度学习框架(如TensorFlow、PyTorch、ONNX等);分析和解决推理引擎在运行时中的性能瓶颈,提升吞吐量和降低延迟; 3、针对不同硬件平台(CPU、GPU、NPU等)进行推理引擎的性能优化,包括算子优化、内存优化和计算图优化; 4、开发和维护推理引擎的跨平台支持,确保其在多种操作系统(Linux、Windows、嵌入式系统等)和硬件架构上稳定运行; 5、开发和维护推理引擎的编译工具链,支持模型转换、量化、剪枝等优化技术;提供调试和Profiling工具,帮助开发者分析和优化推理性能; 6、与算法和产品团队合作,支持新模型和新算子的快速集成和部署,确保推理引擎满足实际业务需求。

更新于 2025-03-19
logo of bytedance
社招3年以上A142702C

1、设计并实现推理引擎的核心运行时组件,包括模型加载、图优化、算子调度、内存管理等; 2、开发和维护推理引擎的运行时库,支持多种深度学习框架(如TensorFlow、PyTorch、ONNX等);分析和解决推理引擎在运行时中的性能瓶颈,提升吞吐量和降低延迟; 3、针对不同硬件平台(CPU、GPU、NPU等)进行推理引擎的性能优化,包括算子优化、内存优化和计算图优化; 4、开发和维护推理引擎的跨平台支持,确保其在多种操作系统(Linux、Windows、嵌入式系统等)和硬件架构上稳定运行; 5、开发和维护推理引擎的编译工具链,支持模型转换、量化、剪枝等优化技术;提供调试和Profiling工具,帮助开发者分析和优化推理性能; 6、与算法和产品团队合作,支持新模型和新算子的快速集成和部署,确保推理引擎满足实际业务需求。

更新于 2025-03-19
logo of bytedance
社招3年以上A208250A

1、设计并实现推理引擎的核心运行时组件,包括模型加载、图优化、算子调度、内存管理等; 2、开发和维护推理引擎的运行时库,支持多种深度学习框架(如TensorFlow、PyTorch、ONNX等);分析和解决推理引擎在运行时中的性能瓶颈,提升吞吐量和降低延迟; 3、针对不同硬件平台(CPU、GPU、NPU等)进行推理引擎的性能优化,包括算子优化、内存优化和计算图优化; 4、开发和维护推理引擎的跨平台支持,确保其在多种操作系统(Linux、Windows、嵌入式系统等)和硬件架构上稳定运行; 5、开发和维护推理引擎的编译工具链,支持模型转换、量化、剪枝等优化技术;提供调试和Profiling工具,帮助开发者分析和优化推理性能; 6、与算法和产品团队合作,支持新模型和新算子的快速集成和部署,确保推理引擎满足实际业务需求。

更新于 2025-03-19