字节跳动硬件加速推理引擎运行时开发工程师-Data（上海）
任职要求
1、计算机科学、电子工程、数学或相关领域的本科及以上学历；3年以上推理引擎、编译器或高性能计算相关开发经验； 2、熟悉C++/Python编程语言，具备扎实的编程能力和代码优化经验； 3、熟悉深度学习框架（如TensorFlow、PyTorch、ONNX等）的运行时机制； 4、熟悉计算机体系结构，了解CPU、GPU、NPU等硬件架构； 5、熟悉多线程…
工作职责
1、设计并实现推理引擎的核心运行时组件，包括模型加载、图优化、算子调度、内存管理等； 2、开发和维护推理引擎的运行时库，支持多种深度学习框架（如TensorFlow、PyTorch、ONNX等）；分析和解决推理引擎在运行时中的性能瓶颈，提升吞吐量和降低延迟； 3、针对不同硬件平台（CPU、GPU、NPU等）进行推理引擎的性能优化，包括算子优化、内存优化和计算图优化； 4、开发和维护推理引擎的跨平台支持，确保其在多种操作系统（Linux、Windows、嵌入式系统等）和硬件架构上稳定运行； 5、开发和维护推理引擎的编译工具链，支持模型转换、量化、剪枝等优化技术；提供调试和Profiling工具，帮助开发者分析和优化推理性能； 6、与算法和产品团队合作，支持新模型和新算子的快速集成和部署，确保推理引擎满足实际业务需求。
1、设计并实现推理引擎的核心运行时组件，包括模型加载、图优化、算子调度、内存管理等； 2、开发和维护推理引擎的运行时库，支持多种深度学习框架（如TensorFlow、PyTorch、ONNX等）；分析和解决推理引擎在运行时中的性能瓶颈，提升吞吐量和降低延迟； 3、针对不同硬件平台（CPU、GPU、NPU等）进行推理引擎的性能优化，包括算子优化、内存优化和计算图优化； 4、开发和维护推理引擎的跨平台支持，确保其在多种操作系统（Linux、Windows、嵌入式系统等）和硬件架构上稳定运行； 5、开发和维护推理引擎的编译工具链，支持模型转换、量化、剪枝等优化技术；提供调试和Profiling工具，帮助开发者分析和优化推理性能； 6、与算法和产品团队合作，支持新模型和新算子的快速集成和部署，确保推理引擎满足实际业务需求。
1、设计并实现推理引擎的核心运行时组件，包括模型加载、图优化、算子调度、内存管理等； 2、开发和维护推理引擎的运行时库，支持多种深度学习框架（如TensorFlow、PyTorch、ONNX等）；分析和解决推理引擎在运行时中的性能瓶颈，提升吞吐量和降低延迟； 3、针对不同硬件平台（CPU、GPU、NPU等）进行推理引擎的性能优化，包括算子优化、内存优化和计算图优化； 4、开发和维护推理引擎的跨平台支持，确保其在多种操作系统（Linux、Windows、嵌入式系统等）和硬件架构上稳定运行； 5、开发和维护推理引擎的编译工具链，支持模型转换、量化、剪枝等优化技术；提供调试和Profiling工具，帮助开发者分析和优化推理性能； 6、与算法和产品团队合作，支持新模型和新算子的快速集成和部署，确保推理引擎满足实际业务需求。
1、设计并实现推理引擎的核心运行时组件，包括模型加载、图优化、算子调度、内存管理等； 2、开发和维护推理引擎的运行时库，支持多种深度学习框架（如TensorFlow、PyTorch、ONNX等）；分析和解决推理引擎在运行时中的性能瓶颈，提升吞吐量和降低延迟； 3、针对不同硬件平台（CPU、GPU、NPU等）进行推理引擎的性能优化，包括算子优化、内存优化和计算图优化； 4、开发和维护推理引擎的跨平台支持，确保其在多种操作系统（Linux、Windows、嵌入式系统等）和硬件架构上稳定运行； 5、开发和维护推理引擎的编译工具链，支持模型转换、量化、剪枝等优化技术；提供调试和Profiling工具，帮助开发者分析和优化推理性能； 6、与算法和产品团队合作，支持新模型和新算子的快速集成和部署，确保推理引擎满足实际业务需求。
1、设计并实现推理引擎的核心运行时组件，包括模型加载、图优化、算子调度、内存管理等； 2、开发和维护推理引擎的运行时库，支持多种深度学习框架（如TensorFlow、PyTorch、ONNX等）；分析和解决推理引擎在运行时中的性能瓶颈，提升吞吐量和降低延迟； 3、针对不同硬件平台（CPU、GPU、NPU等）进行推理引擎的性能优化，包括算子优化、内存优化和计算图优化； 4、开发和维护推理引擎的跨平台支持，确保其在多种操作系统（Linux、Windows、嵌入式系统等）和硬件架构上稳定运行； 5、开发和维护推理引擎的编译工具链，支持模型转换、量化、剪枝等优化技术；提供调试和Profiling工具，帮助开发者分析和优化推理性能； 6、与算法和产品团队合作，支持新模型和新算子的快速集成和部署，确保推理引擎满足实际业务需求。