顺丰大模型基础架构研发工程师

任职要求

1. 教育背景：
    * 计算机科学、软件工程、人工智能等相关专业本科及以上学历。
2. 工作经验：
    * 3年以上分布式系统、基础架构研发或大规模深度学习系统开发经验，具备扎实的系统设计和优化能力。
3. 技术能力：
    * 熟悉大模型基础架构，包括大规模训练、推理的计算资源调度和优化策略。
    * 熟悉主流大模型推理框架（如vLLM、TensorRT、ONNX Runtime、DeepSpeed、Triton等），能够根据需求进行定制化优化。
    * 具有分布式系统开发经验，能独立设计和优化分布式计算框架，具备负载均衡、容错等系统调优能力。
    * 深刻理解大模型推理中的性能瓶颈，能够使用各种技术手段（如模型压缩、量化、并行化等）提升推理性能。
4. 编程能力：
    * 精通Python、C++等编程语言，具备…

工作职责

岗位职责：
1. 大模型基础架构设计与研发：
    * 负责大模型基础架构的设计、研发和优化，包括模型训练、推理过程中的高效计算资源调度、内存优化、网络传输优化等。
    * 参与大模型推理服务的搭建与部署，确保系统的高可用性、高性能和可扩展性。
2. 推理优化与性能提升：
    * 负责大模型推理过程中的性能优化，优化模型推理速度、内存消耗和计算资源使用。
    * 根据不同的应用场景，优化推理算法和模型压缩技术，实现低延迟和高吞吐量的推理服务。
3. 主流推理框架的应用与定制：
    * 熟悉并使用主流的大模型推理框架（如TensorRT、ONNX Runtime、DeepSpeed等），并能够根据需求进行定制化开发与优化。
    * 结合实际业务需求，灵活调整推理框架的配置和参数，提升整体推理效率。
4. 分布式系统开发与优化：
    * 设计并实现大模型推理在分布式系统中的高效调度与协同工作，确保大规模并发请求的处理能力。
    * 优化分布式系统的通信、负载均衡、容错能力等，提升系统的整体稳定性和性能。
5. 系统调优与故障排查：
    * 定期进行系统性能评估和瓶颈分析，提出系统优化方案并实施。
    * 能够快速定位和解决系统性能瓶颈和推理过程中的各类问题，确保系统高效、稳定运行。
6. 技术创新与团队协作：
    * 跟踪大模型基础架构领域的最新研究与技术进展，提出创新性的技术方案。
    * 与团队成员密切合作，共同推动技术解决方案的实施与落地。