理想汽车AI异构分布式推理架构专家

● 设计和实现高效的分布式推理架构，提升多节点、多GPU环境下的推理速度和资源利用率。开发智能的请求调度算法，确保高并发场景下的最优响应时间和吞吐量。对推理引擎的运行时环境进行深度优化，减少延迟，提高整体性能。针对多种异构AI加速硬件（如NVIDIA GPU, AMD GPU, NPU等），对核心算子进行极致性能优化，最大化算力和访存带宽利用率。 ● 探索并实现极低bit量化技术和稀疏化，减少模型存储和计算资源消耗，同时保持推理精度。探索更高效的解码算法，提升生成任务的推理速度。 ● 设计并实现能够处理大规模并发请求的系统架构，确保极端负载下的稳定性和性能。引入容错机制、自动恢复和监控报警系统，保证系统的高可用性和稳定性。构建灵活的系统架构，支持动态扩展，以应对未来业务增长和技术演进的需求。 ● 持续关注并跟进业界技术发展，尤其是超长上下文、COT思维链、多模态融合等方向。积极尝试和探索新的推理优化方向，提出并验证创新性的解决方案。

● 为大语言模型和多模态模型设计和实现高效的分布式推理架构，支持多节点、多角色、多模型的异构复杂部署模式，以统一、可扩展的方式支持PD分离、多模态多模型分离等部署方式，以及灵活的配比、伸缩等能力。 ● 设计和实现智能的请求与模型调度能力，在高度动态的负载工况下以及多模态模型异构的子模型间做高效的调度，让分布式推理系统具备充分的动态性和适应能力，提升服务的整体效率和质量。 ● 对分布式和多模态推理引擎运行时进行深度优化，提升分布式推理的效率和稳定性：提升组件间协调的效率，降低请求延迟、提升服务吞吐；结合各类推理引擎层面优化以及量化等算法方法提升多模态模型推理效率，同时保证模型效果；提升系统在高并发下的鲁棒性，确保极端负载下的稳定性和性能；引入容错机制、自动恢复和监控报警系统，保证系统的高可用性。 ● 为分布式推理实现高效、通用的数据平面，以统一的方式支持各类数据传输（如PD分离中的KV cache、多模态推理中的中间结果）和存储（KV cache storage）等需求。 ● 持续关注并跟进业界技术发展，尤其是超长上下文、COT思维链、多模态融合等方向；积极尝试和探索新的推理优化方向，提出并验证创新性的解决方案。

● 面向 NVIDIA GPU、AMD GPU、NPU 等主流异构 AI 加速硬件，对大模型核心算子进行深度性能优化，极致压榨计算与访存带宽资源，显著提升端到端推理吞吐量与延迟表现。 ● 设计并实现高精度、极低比特（如 INT4/INT2）量化内核，在保障推理精度的前提下，大幅降低模型存储占用与计算开销，推动大模型在资源受限场景下的高效部署。 ● 针对大规模分布式推理场景，研发计算-通信协同优化技术，有效隐藏通信延迟，提升多卡/多节点系统的可扩展性与资源利用率。 ● 紧跟大模型架构前沿演进，针对稀疏 MoE、线性注意力（Linear Attention）、稀疏注意力（Sparse Attention）等新型结构，开展端到端性能建模、算子定制与内核级优化，为下一代高性能推理引擎提供核心技术支撑。

1、设计并实现高性能AI原生网关。构建低延迟、高并发的API网关系统，支持多模态、多协议接入，为国内及全球客户提供灵活、安全、可扩展的流量接入方案，提供完整的数据面控制与可观测能力； 2、打造智能推理调度与资源管理系统。设计并实现面向复杂分布式推理场景的请求调度和资源调度系统，结合动态负载特征与异构硬件资源，持续优化请求分发策略；建设Serverless化资源调度架构，实现资源的弹性伸缩与极致利用率提升； 3、构建先进的MLOps平台能力。深度优化模型服务的CI/CD流程，推动算法研发到生产部署的自动化与标准化；实现模型版本管理、灰度发布、监控告警、性能分析等全生命周期管理能力，提升迭代效率与系统稳定性。