百度大模型推理架构研发工程师（J95970）

-负责百度文心大模型的推理性能优化 -参与飞桨深度学习平台（ PaddlePaddle）推理框架的设计、开发和业务支持 -负责深度学习框架的性能优化工作，包括但不限于功能模块在CPU/GPU上的深度优化工作 -负责深度学习推理框架前瞻技术的跟踪调研，实现技术创新突破 -参与深度学习框架的易用性优化工作，使开发者能够以更简单的方式实现各类任务，降低学习成本和开发成本 -负责异构高性能计算平台的设计、研发，高性能计算库、通信库开发与优化 -支持百度萝卜快跑、搜索等业务大模型的推理性能优化

岗位职责： 1. 大模型基础架构设计与研发： * 负责大模型基础架构的设计、研发和优化，包括模型训练、推理过程中的高效计算资源调度、内存优化、网络传输优化等。 * 参与大模型推理服务的搭建与部署，确保系统的高可用性、高性能和可扩展性。 2. 推理优化与性能提升： * 负责大模型推理过程中的性能优化，优化模型推理速度、内存消耗和计算资源使用。 * 根据不同的应用场景，优化推理算法和模型压缩技术，实现低延迟和高吞吐量的推理服务。 3. 主流推理框架的应用与定制： * 熟悉并使用主流的大模型推理框架（如TensorRT、ONNX Runtime、DeepSpeed等），并能够根据需求进行定制化开发与优化。 * 结合实际业务需求，灵活调整推理框架的配置和参数，提升整体推理效率。 4. 分布式系统开发与优化： * 设计并实现大模型推理在分布式系统中的高效调度与协同工作，确保大规模并发请求的处理能力。 * 优化分布式系统的通信、负载均衡、容错能力等，提升系统的整体稳定性和性能。 5. 系统调优与故障排查： * 定期进行系统性能评估和瓶颈分析，提出系统优化方案并实施。 * 能够快速定位和解决系统性能瓶颈和推理过程中的各类问题，确保系统高效、稳定运行。 6. 技术创新与团队协作： * 跟踪大模型基础架构领域的最新研究与技术进展，提出创新性的技术方案。 * 与团队成员密切合作，共同推动技术解决方案的实施与落地。

## 职位描述 负责 AI 算法服务工程化与技术外采中台建设，打造统一的模型接入、调度与治理平台，支撑多算法、多厂商能力的标准化接入与高性能、高可用运行，构建面向 AI 时代的算法服务基础设施。 ## 岗位职责 1. 负责 AI 算法服务的工程化封装与容器化改造，设计统一的服务接入规范、部署标准与运行时治理体系 2. 参与构建多模型接入与调度平台，实现模型路由、并发控制、限流熔断、优先级调度与成本优化策略 3. 设计并优化高并发场景下的服务架构，保障系统在高 QPS、复杂依赖情况下的稳定性与可扩展性 4. 构建完善的可观测体系（日志、指标、Tracing），持续优化系统性能与故障恢复能力 5. 与算法、产品及业务团队协作，推动 AI 能力高效落地并形成可复用的工程化能力 ##

## 职位描述 负责 AI 算法服务工程化与技术外采中台建设，打造统一的模型接入、调度与治理平台，支撑多算法、多厂商能力的标准化接入与高性能、高可用运行，构建面向 AI 时代的算法服务基础设施。 ## 岗位职责 1. 负责 AI 算法服务的工程化封装与容器化改造，设计统一的服务接入规范、部署标准与运行时治理体系 2. 参与构建多模型接入与调度平台，实现模型路由、并发控制、限流熔断、优先级调度与成本优化策略 3. 设计并优化高并发场景下的服务架构，保障系统在高 QPS、复杂依赖情况下的稳定性与可扩展性 4. 构建完善的可观测体系（日志、指标、Tracing），持续优化系统性能与故障恢复能力 5. 与算法、产品及业务团队协作，推动 AI 能力高效落地并形成可复用的工程化能力 ##