富途AI Infra研发专家
任职要求
系统底座：扎实的 Linux 内核、网络协议、存储与并发编程（C/C++ / Rust / Go）功底。 GPU & HPC：熟练使用 CUDA、NCCL、TensorRT 了解 GPU 映像、GPU 直通 / 共享、NUMA、GPUDirect Storage。 Kubernetes 深度：熟悉自定义调度器、Device-Plugin、Operator 开发 掌握 KubeFlow / Volcano / Slurm 等批量调度框架。性能调优：有千万 QPS 或百亿参数级大模型推理压测与性能瓶颈定位经验。加分项参与或主导过超大规模推理平台（>1 K GPU 或千亿参数服务化）建设。在计算机体系结构、并行计算、云原生或 AI Infra 顶会/期刊发表论文或开源贡献。
工作职责
底层推理基础设施建设：负责 GPU / TPU 集群管理、异构资源调度与高性能网络优化 实现弹性伸缩、自动修复与多机多卡高效并行。推理引擎深度优化：基于 vLLM、TensorRT-LLM、DeepSpeed-Inference、Pagoda 等框架进行分片并行、张量并行、量化（FP8 / INT4）与编译优化。算法 × 工程协同：与算法工程师联合设计离线训练、在线推理的完整链路，推进模型版本管理、灰度发布、回滚与 A/B 测试，确保模型效果与系统稳定性的双重 SLA。高性能存储与缓存：架设高速并行文件系统或 KV-Store，优化 KV-Cache 热点、RDMA / RoCE 网络，降低 I/O 与通信开销。Observability & SRE：构建完整的 Metrics / Tracing / Logging 体系（Prometheus、Grafana、Jaeger、Loki），定义 SLO / SLI 并实施容量规划。技术前瞻与研究：持续跟踪新硬件（H100, MI300, Grace Hopper）、编译器（TVM, XLA, One-Inference）与调度算法，推动架构演进。
团队介绍：IaaS字节跳动基础架构IaaS团队致力于不断创新，推动云计算产业发展和IaaS架构演进。作为云计算基座我们服务了字节跳动旗下包括抖音、今日头条、西瓜视频、飞书等明星产品， 并通过火山引擎云基础产品服务外部客户：包括金融、汽车、游戏、电商、社交媒体、高端制造、科研院所等各行各业的丰富场景， 为亿级用户量的APP和ToB业务提供安全、稳定、高性价比的算力。 我们坚持全栈自研，软硬一体，全面拥抱云原生， 在技术上追求极致： -基于智能库存调度、精细化监控以及自动化运维能力， 来管理遍布全球超百万台规模的服务器集群； -自研高吞吐、低延迟、高弹性的网关网元以及高弹性高并发的计算存储服务来应对抖音春晚、双十一等各种流量洪峰； -打造万卡超大规模的GPU集群， 与机器学习平台、火山方舟一起构建了从基础设施到模型生态的完整解决方案； -此外，还提供和火山引擎公有云同源架构的veStack混合云平台，支撑客户的本地化部署和跨云资源的弹性伸缩等。 1、负责大模型训练和推理所需的IaaS基础设施的规划、建设与维护； 2、与业务团队密切合作，支持业务新算法和模型的集成，并优化其在IaaS基础设施上的性能； 3、开发和维护自动化工具，提高大规模模型基础设施的可观测性、可扩展性和可管理性； 4、跟踪业界AI新兴技术和行业趋势，参与新技术的研究与应用，推动基础设施的持续升级。
团队介绍：IaaS字节跳动基础架构IaaS团队致力于不断创新，推动云计算产业发展和IaaS架构演进。作为云计算基座我们服务了字节跳动旗下包括抖音、今日头条、西瓜视频、飞书等明星产品， 并通过火山引擎云基础产品服务外部客户：包括金融、汽车、游戏、电商、社交媒体、高端制造、科研院所等各行各业的丰富场景， 为亿级用户量的APP和ToB业务提供安全、稳定、高性价比的算力。 我们坚持全栈自研，软硬一体，全面拥抱云原生， 在技术上追求极致： -基于智能库存调度、精细化监控以及自动化运维能力， 来管理遍布全球超百万台规模的服务器集群； -自研高吞吐、低延迟、高弹性的网关网元以及高弹性高并发的计算存储服务来应对抖音春晚、双十一等各种流量洪峰； -打造万卡超大规模的GPU集群， 与机器学习平台、火山方舟一起构建了从基础设施到模型生态的完整解决方案； -此外，还提供和火山引擎公有云同源架构的veStack混合云平台，支撑客户的本地化部署和跨云资源的弹性伸缩等。 1、负责大模型训练和推理所需的IaaS基础设施的规划、建设与维护； 2、与业务团队密切合作，支持业务新算法和模型的集成，并优化其在IaaS基础设施上的性能； 3、开发和维护自动化工具，提高大规模模型基础设施的可观测性、可扩展性和可管理性； 4、跟踪业界AI新兴技术和行业趋势，参与新技术的研究与应用，推动基础设施的持续升级。
团队介绍：IaaS字节跳动基础架构IaaS团队致力于不断创新，推动云计算产业发展和IaaS架构演进。作为云计算基座我们服务了字节跳动旗下包括抖音、今日头条、西瓜视频、飞书等明星产品， 并通过火山引擎云基础产品服务外部客户：包括金融、汽车、游戏、电商、社交媒体、高端制造、科研院所等各行各业的丰富场景， 为亿级用户量的APP和ToB业务提供安全、稳定、高性价比的算力。 我们坚持全栈自研，软硬一体，全面拥抱云原生， 在技术上追求极致： -基于智能库存调度、精细化监控以及自动化运维能力， 来管理遍布全球超百万台规模的服务器集群； -自研高吞吐、低延迟、高弹性的网关网元以及高弹性高并发的计算存储服务来应对抖音春晚、双十一等各种流量洪峰； -打造万卡超大规模的GPU集群， 与机器学习平台、火山方舟一起构建了从基础设施到模型生态的完整解决方案； -此外，还提供和火山引擎公有云同源架构的veStack混合云平台，支撑客户的本地化部署和跨云资源的弹性伸缩等。 1、负责大模型训练和推理所需的IaaS基础设施的规划、建设与维护； 2、与业务团队密切合作，支持业务新算法和模型的集成，并优化其在IaaS基础设施上的性能； 3、开发和维护自动化工具，提高大规模模型基础设施的可观测性、可扩展性和可管理性； 4、跟踪业界AI新兴技术和行业趋势，参与新技术的研究与应用，推动基础设施的持续升级。
1、负责云网络AI Infra业务研发，探索推理框架与云网络系统的深度集成，优化大模型推理性能； 2、推动云网络与大模型加速相关生态建设，设计和实施AI Infra中云网络的软硬结合解决方案； 3、持续跟进LLM前沿技术和开源方案，完成业务场景化分析，并落地云网络产品，提升产品竞争力。