百度大模型推理架构研发工程师（J95970）

-负责百度文心大模型的推理性能优化 -参与飞桨深度学习平台（ PaddlePaddle）推理框架的设计、开发和业务支持 -负责深度学习框架的性能优化工作，包括但不限于功能模块在CPU/GPU上的深度优化工作 -负责深度学习推理框架前瞻技术的跟踪调研，实现技术创新突破 -参与深度学习框架的易用性优化工作，使开发者能够以更简单的方式实现各类任务，降低学习成本和开发成本 -负责异构高性能计算平台的设计、研发，高性能计算库、通信库开发与优化 -支持百度萝卜快跑、搜索等业务大模型的推理性能优化

岗位职责： 1. 大模型基础架构设计与研发： * 负责大模型基础架构的设计、研发和优化，包括模型训练、推理过程中的高效计算资源调度、内存优化、网络传输优化等。 * 参与大模型推理服务的搭建与部署，确保系统的高可用性、高性能和可扩展性。 2. 推理优化与性能提升： * 负责大模型推理过程中的性能优化，优化模型推理速度、内存消耗和计算资源使用。 * 根据不同的应用场景，优化推理算法和模型压缩技术，实现低延迟和高吞吐量的推理服务。 3. 主流推理框架的应用与定制： * 熟悉并使用主流的大模型推理框架（如TensorRT、ONNX Runtime、DeepSpeed等），并能够根据需求进行定制化开发与优化。 * 结合实际业务需求，灵活调整推理框架的配置和参数，提升整体推理效率。 4. 分布式系统开发与优化： * 设计并实现大模型推理在分布式系统中的高效调度与协同工作，确保大规模并发请求的处理能力。 * 优化分布式系统的通信、负载均衡、容错能力等，提升系统的整体稳定性和性能。 5. 系统调优与故障排查： * 定期进行系统性能评估和瓶颈分析，提出系统优化方案并实施。 * 能够快速定位和解决系统性能瓶颈和推理过程中的各类问题，确保系统高效、稳定运行。 6. 技术创新与团队协作： * 跟踪大模型基础架构领域的最新研究与技术进展，提出创新性的技术方案。 * 与团队成员密切合作，共同推动技术解决方案的实施与落地。

团队介绍：TikTok是一个覆盖150个国家和地区的国际短视频平台，我们希望通过TikTok发现真实、有趣的瞬间，让生活更美好。TikTok 在全球各地设有办公室，全球总部位于洛杉矶和新加坡，办公地点还包括纽约、伦敦、都柏林、巴黎、柏林、迪拜、雅加达、首尔和东京等多个城市。 TikTok AI创新中心，是致力于AI基础设施建设和创新研究的部门，探索行业领先的人工智能技术，包括大语言模型，多模态大模型等研究方向。我们希望研发能够处理多语言和海量视频内容理解的模型算法，为用户带来更好的内容消费体验。在Code AI方向，我们利用大语言模型强大的代码理解与推理能力，提升程序性能与研发效率。 1、参与设计并实现高可用、可扩展、分布式大模型机器学习平台，支撑国际化短视频大模型研发与高效迭代； 2、探索业界前沿的大模型工程研发（LLMOps）相关技术，覆盖数据、训练、推理服务、评测、自动化编排、Prompt工程、资源调度等方向; 3、构建高性能大模型推理服务架构，降低推理成本，保障服务高可用运行。

1、研发面向大语言/多模态/CV/NLP等类型模型的推理与训练框架； 2、参与推理框架研发优化，包括算子优化、推理架构优化、异构调度等多种技术研发落地等； 3、参与训练框架研发优化，包括数据读取、分布式训练及微调工具链等AI基础设施的建设等； 4、参与多个业务场景中的模型压缩技术实现，对模型进行轻量化压缩，提高训练/推理效率，支持业务降本增效； 5、与公司各算法部门深度合作，参与大语言模型、多模态大模型、计算机视觉、语音、自然语言处理等业务训推任务的优化提效； 6、深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、工作流编排等。