京东推理部署工程师
任职要求
1. 教育背景： 计算机科学、软件工程、人工智能或相关STEM领域的硕士及以上学历； 2. 技术基石： * 扎实的计算机科学基础和良好的工程实践能力； * 精通至少一种主流编程语言（如Python，C++），具备出色的编码和调试能力； * 熟悉主流大模型推理引擎和优化技术（如 vLLM, SGLang, TensorRT-LLM等）； 2. 经验优先： * 拥有云计算系统、机器学习平台、分布式计算、中间件等领域的相关开发或落地经验者优先； * 在机器学习/系统领域顶级会议（如 A…
工作职责
1. 构建AI云推理架构： 探索PD分离、KV池化、通信优化等技术，设计并实现适用于AI原生的分布式推理服务架构，应对高并发、低延迟挑战； 2. 开发核心推理平台能力： 打造AI原生网关及高可用系统，核心技术点包括但不限于：异构资源调度、身份认证与鉴权、请求智能限流、动态模型路由、推理容器/镜像加速、安全变更管控、系统深度可观测性等； 3. 参与推理全栈应用实践： 积极涉足推理服务上下游应用开发，如构建RAG（检索增强生成）系统、探索提示词工程优化实践、参与AI模型市场（MCP）建设或AIGC应用落地等。
1. 构建AI云推理架构： 探索PD分离、KV池化、通信优化等技术，设计并实现适用于AI原生的分布式推理服务架构，应对高并发、低延迟挑战； 2. 开发核心推理平台能力： 打造AI原生网关及高可用系统，核心技术点包括但不限于：异构资源调度、身份认证与鉴权、请求智能限流、动态模型路由、推理容器/镜像加速、安全变更管控、系统深度可观测性等； 3. 参与推理全栈应用实践： 积极涉足推理服务上下游应用开发，如构建RAG（检索增强生成）系统、探索提示词工程优化实践、参与AI模型市场（MCP）建设或AIGC应用落地等。
1. 构建AI云推理架构： 探索PD分离、KV池化、通信优化等技术，设计并实现适用于AI原生的分布式推理服务架构，应对高并发、低延迟挑战； 2. 开发核心推理平台能力： 打造AI原生网关及高可用系统，核心技术点包括但不限于：异构资源调度、身份认证与鉴权、请求智能限流、动态模型路由、推理容器/镜像加速、安全变更管控、系统深度可观测性等； 3. 参与推理全栈应用实践： 积极涉足推理服务上下游应用开发，如构建RAG（检索增强生成）系统、探索提示词工程优化实践、参与AI模型市场（MCP）建设或AIGC应用落地等。
1. 构建AI云推理架构： 探索PD分离、KV池化、通信优化等技术，设计并实现适用于AI原生的分布式推理服务架构，应对高并发、低延迟挑战； 2. 开发核心推理平台能力： 打造AI原生网关及高可用系统，核心技术点包括但不限于：异构资源调度、身份认证与鉴权、请求智能限流、动态模型路由、推理容器/镜像加速、安全变更管控、系统深度可观测性等； 3. 参与推理全栈应用实践： 积极涉足推理服务上下游应用开发，如构建RAG（检索增强生成）系统、探索提示词工程优化实践、参与AI模型市场（MCP）建设或AIGC应用落地等。
1. 熟悉bev/occ/静态bev/3d等方向的云端模型训练和相关推理部署、Drivesora/Qwen-WAN等世界模型-生成大模型的多模态训练和相关推理部署、基于3DGS的StreetGaussian/DGGT/ReconDreamer场景重建算法开发和相关推理部署。 2. 熟悉自动驾驶数据的预处理、挖掘和特征工程， 对大模型的强化学习及相关框架有一定了解更佳。 3. 结合公司已有的自动驾驶相关数据对大模型finetune，使世界模型更好服务于自动驾驶业务的数据和仿真需求。 4. 与部署优化工程师合作，确保算法的实际可行性和集成性。 5. 跟踪最新的科研进展和技术趋势，将前沿技术应用于解决实际问题中。