
智能互联平头哥-边缘AI芯片软件工程师-模型部署优化-上海
任职要求
1. 电子工程,计算机等相关专业硕士及以上学历 2. 具备3年以上AI推理优化相关工作经验,深刻理解并行计算和CUDA编程,熟悉TensorRT和TensorRT-LLM的模型部署和优化。 3. 熟悉边缘AI芯片上模型部署使用者优先,如自动…
工作职责
1. 与算法同事协作,负责端侧AI模型以及大模型(LLM, VLM, VLA) 的部署和推理优化,结合AI软硬件特性实现高性能计算和推理效率优化,包括但不限于多模型部署,多任务调度,多线程/多进程加速,多IP之间的高效数据交换和同步。 2. 负责系统调优和统筹AI算力资源使用,在保障任务实时性/稳定性的前提下,实现算力资源(CPU/GPU/NPU)和内存资源的高效利用。 3. 深入挖掘AI芯片软件栈和系统性能瓶颈,提出软硬件的加速解决方案和需求
1. 与算法同事协作,负责端侧AI模型以及大模型(LLM, VLM, VLA) 的部署和推理优化,结合AI软硬件特性实现高性能计算和推理效率优化,包括但不限于多模型部署,多任务调度,多线程/多进程加速,多IP之间的高效数据交换和同步。 2. 负责系统调优和统筹AI算力资源使用,在保障任务实时性/稳定性的前提下,实现算力资源(CPU/GPU/NPU)和内存资源的高效利用。 3. 深入挖掘AI芯片软件栈和系统性能瓶颈,提出软硬件的加速解决方案和需求
1. 与算法同事协作,负责端侧AI模型以及大模型(LLM, VLM, VLA) 的部署和推理优化,结合AI软硬件特性实现高性能计算和推理效率优化,包括但不限于多模型部署,多任务调度,多线程/多进程加速,多IP之间的高效数据交换和同步。 2. 负责系统调优和统筹AI算力资源使用,在保障任务实时性/稳定性的前提下,实现算力资源(CPU/GPU/NPU)和内存资源的高效利用。 3. 深入挖掘AI芯片软件栈和系统性能瓶颈,提出软硬件的加速解决方案和需求
1. 负责相关平台的软件架构设计与核心模块开发,包括 SDK、Runtime、Framework、驱动、内核模块及相关底层组件。 2. 负责应用层、用户态组件、驱动层、内核层、固件层、硬件层之间的跨层问题分析、定位与优化。 3. 参与平台抽象层、接口模型、模块边界与系统分层设计,构建具备复用性、扩展性和可维护性的底层软件体系。 4. 参与系统性能分析与优化,从计算、访存、带宽、缓存、调度、并发、IO 路径、硬件利用率等维度识别瓶颈并推动落地优化。 5. 参与软硬件联调、设备 bring-up、功能验证、异常定位与问题收敛,推动复杂问题闭环。 6. 参与 SDK / API 设计、Runtime 封装、示例系统开发及文档建设,提升平台可用性与集成效率。 7. 参与系统稳定性与工程质量建设,包括资源管理、异常恢复、边界场景处理、兼容性治理及长期维护支持。 8. 异构计算:包括但不限于框架、SDK、异构处理器算子的开发、调优、维护等。