
智能互联达摩院-推理框架开发专家-计算技术
任职要求
1. 具备芯片框架相关开发、优化经验; 2. 具备极佳的工程实现能力,熟悉C/C++或Python; 3. 具备扎实的计算机领域基础知识、熟悉计算机体系结构原理、常用算法及数据结构。 加分项: • 熟悉C…
工作职责
从事芯片框架相关的工作,主要包含: 1. 负责主流开源框架支持,如pytorch、tensorflow; 2. 负责主流开源大模型推理引擎支持,如vllm; 3. 负责大模型推理性能优化; 4. 负责大模型大规模集群训练优化;

1. 跟踪大模型的国际前沿算法技术动态,定期输出技术调研报告并试点验证,评估其在业务中的应用价值; 2. 负责大模型在端侧/边缘场景的优化与落地,包括模型压缩、推理加速、多模态输入处理与上下文管理; 3. 负责数据计算、运动控制、图像处理算法的研发与优化; 4. 跨团队参与产品的需求评审,制定算法验收标准,配合测试团队完成算法在各应用场景下的效果验证与版本迭代; 5. 主导算法在 RISC-V 架构硬件上的移植、量化与性能优化,确保算法运行的稳定性和实时性; 6. 负责撰写设计方案、接口规范等技术文档,参与专利布局及相关学术论文的撰写;

1. 负责AI推理服务的全流程测试,覆盖模型加载、动态批处理、精度验证、资源占用等关键环节 2. 验证AI异构硬件(GPU/NPU/CPU)与推理引擎的性能表现及兼容性 3. 构建高并发AI服务压力测试框架,通过多用户场景下的QPS、P99延迟、错误率等指标评估服务稳定性与容错能力 4. 设计高性能AI推理基准测试方案,验证模型在低延迟/高吞吐量场景下的优化效果(内存占用率、硬件加速效率)及瓶颈分析 5. 分析推理瓶颈并提出优化建议,参与CI/CD流程的自动化测试集成

从事芯片框架相关的工作,主要包含: 1. 负责主流开源框架支持,如pytorch、tensorflow; 2. 负责主流开源大模型推理引擎支持,如vllm; 3. 负责大模型推理性能优化; 4. 负责大模型大规模集群训练优化;

一、团队管理 ● 负责芯片工具链团队的组建、管理与梯队建设,打造高效能研发团队 ● 制定团队技术路线图,规划产品迭代计划,把控项目进度与质量 ● 建立团队技术规范与研发流程,推动工程效率持续提升 二、产品规划与设计 ● 主导芯片全流程开发工具链的整体架构设计,构建端到端的AI应用开发解决方案 ● 规划并落地以下核心工具模块: ○ 算子开发工具:算子设计、工程创建、单元测试、异常检测、调试调优等全链路工具 ○ 训练开发工具:模型迁移分析、精度调试、性能调优、内存检测等训练场景工具 ○ 推理开发工具:模型量化压缩、推理精度调试、性能调优、负载均衡、Benchmark评测等推理场景工具 ○ 可视化工具:模型结构可视化、训练过程可视化、性能数据可视化分析平台 ○ 诊断分析工具:内存泄漏检测、性能瓶颈分析、精度问题定位等诊断工具 ● 跟踪业界主流AI框架发展趋势,确保工具链的兼容性与易用性 ● 攻克大模型训练与推理场景下的性能优化、精度调试等关键问题的工具设计与研发难题 三、生态建设 ● 与芯片设计、编译器、Runtime等团队紧密协作,推动软硬件协同优化 ● 建立开发者社区,输出技术文档、最佳实践与案例教程,赋能开发者生态