京东大模型推理部署工程师
任职要求
1. 教育背景： 计算机科学、软件工程、人工智能或相关STEM领域的硕士及以上学历； 2. 技术基石： * 扎实的计算机科学基础和良好的工程实践能力； * 精通至少一种主流编程语言（如Python，C++），具备出色的编码和调试能力； * 熟悉主流大模型推理引擎和优化技术（如 vLLM, SGLang, TensorRT-LLM等）； 2. 经验优先： * 拥有云计算系统、机器学习平台、分布式计算、中间件等领域的相关开发或落地经验者优先； * 在机器学习/系统领域顶级会议（如 AT…
工作职责
1. 构建AI云推理架构： 探索PD分离、KV池化、通信优化等技术，设计并实现适用于AI原生的分布式推理服务架构，应对高并发、低延迟挑战； 2. 开发核心推理平台能力： 打造AI原生网关及高可用系统，核心技术点包括但不限于：异构资源调度、身份认证与鉴权、请求智能限流、动态模型路由、推理容器/镜像加速、安全变更管控、系统深度可观测性等； 3. 参与推理全栈应用实践： 积极涉足推理服务上下游应用开发，如构建RAG（检索增强生成）系统、探索提示词工程优化实践、参与AI模型市场（MCP）建设或AIGC应用落地等。
1. 构建AI云推理架构： 探索PD分离、KV池化、通信优化等技术，设计并实现适用于AI原生的分布式推理服务架构，应对高并发、低延迟挑战； 2. 开发核心推理平台能力： 打造AI原生网关及高可用系统，核心技术点包括但不限于：异构资源调度、身份认证与鉴权、请求智能限流、动态模型路由、推理容器/镜像加速、安全变更管控、系统深度可观测性等； 3. 参与推理全栈应用实践： 积极涉足推理服务上下游应用开发，如构建RAG（检索增强生成）系统、探索提示词工程优化实践、参与AI模型市场（MCP）建设或AIGC应用落地等。
1. 构建AI云推理架构： 探索PD分离、KV池化、通信优化等技术，设计并实现适用于AI原生的分布式推理服务架构，应对高并发、低延迟挑战； 2. 开发核心推理平台能力： 打造AI原生网关及高可用系统，核心技术点包括但不限于：异构资源调度、身份认证与鉴权、请求智能限流、动态模型路由、推理容器/镜像加速、安全变更管控、系统深度可观测性等； 3. 参与推理全栈应用实践： 积极涉足推理服务上下游应用开发，如构建RAG（检索增强生成）系统、探索提示词工程优化实践、参与AI模型市场（MCP）建设或AIGC应用落地等。
核心职责 参与小红书大模型平台推理部署等流程及工具的研发建设，完善平台现有功能 参与平台Quota管理模块的开发，实现多机房、多集群环境下的，各种异构计算资源的配额管理功能 参与平台大模型训练/压缩/推理/数据集/资源调度等流程及工具的研发建设
1、参与AI平台大模型推理部署等流程及工具的研发建设，完善平台现有功能。 2、参与AI平台Quota管理模块的开发，实现多机房、多集群环境下的，各种异构计算资源的配额管理功能。 3、参与AI平台联邦调度能力的设计和开发，与下游云原生团队共同实现平台联邦和弹性部署能力。