字节跳动云原生高级研发工程师 - 调度系统方向
任职要求
1、具备扎实的数据结构和算法基本功,熟悉常见的调度算法; 2、深入理解 Kubernetes、Mesos、Yarn 等一个或多个系统的调度实现; 3、熟悉云原生、机器学习等相关技术; 4、具备较强的数据分析和建模能力; 5、关注业界计算基础设施相关发展方向,并有较强的热情。 加分项: 1、Kubernetes、Mesos、Yarn 等开源项目相关模块的贡献者; 2、有大规模集群资源调度的实践经验; 3、在知名期刊会议发表过相关领域的论文。
工作职责
字节跳动从2015年开始构建云原生体系,拥抱Go语言社区,采用Kubernetes和容器作为在离线应用运行环境的统一标准。团队负责构建字节跳动内部容器云平台,以超大规模的容器集群支撑了字节内部和火山的所有产品线,涵盖今日头条、抖音、西瓜视频等业务;覆盖了在线服务、离线大数据、机器学习大模型训练等多种应用场景;建设了全球多个地区的基础设施;保障了万卡异构资源训练集群、亿级别离线容器集群的稳定运行。在持续多年的快速增长中,积累了丰富的Kubernetes和容器大规模应用管理经验。我们旨在打造覆盖多业务、多场景和多地域的百万节点级的容器平台。 1、负责字节跳动云计算底层在离线统一调度系统的构建和维护; 2、负责字节跳动云计算底层智能策略系统的构建和维护; 3、负责优化系统的可用性和稳定性,提升资源利用率。
1、负责模型训练平台核心功能开发和架构设计,包括传统CN/NLP/SD/LLM等多场景支持 2、负责大模型后训练工具平台化建设,包括后预训练、微调、对齐等技术落地 3、设计和实现高性能分布式训练系统,打造端到端训练解决方案 4、优化训练调度和资源管理,提升集群利用率和训练效率 5、开发模型训练监控诊断工具,建设可观测性体系
我们是小红书中台大模型 Infra 团队,专注打造领先易用的「AI 大模型全链路基础设施」!团队深耕大模型「数-训-压-推-评」技术闭环,在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势,基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品,持续赋能社区、商业、交易、安全、数平、研效等多个核心业务,实现 AI 技术高效落地! 1、负责大模型平台的架构设计和核心功能研发,构建云原生架构,设计高可用、高性能的微服务体系; 2、负责构建面向大模型全流程的DevOps,与下游云原生平台深度融合,支撑大模型在公司内各业务生产链路稳定高效地落地; 3、负责万卡规模GPU集群效能分析及优化,通过调度策略优化、在离线混部、GPU虚拟化、存储&网络加速等手段,提升GPU集群使用效率; 4、将平台和框架结合,通过任务调度、弹性容灾、性能优化等措施端到端提升AI生产效率,涉及k8s/kubeflow、网络通信、分布式训练等; 5、优化各AI平台性能,提升系统稳定性和可扩展性,保障大规模并发场景下的服务质量与用户体验; 6、持续研究分析业内创新AI平台产品,优化技术方案,改进产品功能,提升创新能力与产品体验。
我们是字节跳动基础架构-私有云团队,主要为今日头条、抖音、国际化短视频、飞书、电商等内部业务提供云基础服务,覆盖服务研发的全生命周期,包括微服务框架、服务发布、服务治理、多云管理以及经营分析平台等方向。团队拥有超大规模的微服务数量、全球化的部署体系、复杂的多云场景。极致的服务性能、简单易用的研发体验、一致的多云管理以及精确的经营分析是团队持续追求的目标。 1、负责云平台的设计与开发工作,负责云平台的基础组件服务,包括但不限于:云服务管控、大规模资源调度系统、商品管理、经营分析、计费计量、报表平台、云平台资源、配额、预算、权限等横向平台建设; 2、抽象多云适配层,适配不同云环境,构建用云过程自助服务,业务通过简单操作,自动完成微服务、配置、存储数据的迁移流程; 3、构建高效稳定的云平台元数据管理服务、云平台构建和高级资源编排服务; 4、负责字节跳动基础架构技术中台交易体系的核心商品域业务需求开发、系统维护,完成需求分析、方案设计和实现; 5、负责商品系统的类目、成本、定价、规格等多个子域的系统设计与维护; 6、负责承载亿级应用程序引擎的研发:负责字节跳动业务架构设计构建高效的在离线服务托管平台; 7、设计研发PaaS/FaaS的关键组件,打造业界领先的无服务器平台Serverless。
我们是字节跳动基础架构-私有云团队,主要为今日头条、抖音、国际化短视频、飞书、电商等内部业务提供云基础服务,覆盖服务研发的全生命周期,包括微服务框架、服务发布、服务治理、多云管理以及经营分析平台等方向。团队拥有超大规模的微服务数量、全球化的部署体系、复杂的多云场景。极致的服务性能、简单易用的研发体验、一致的多云管理以及精确的经营分析是团队持续追求的目标。 1、负责云平台的设计与开发工作,负责云平台的基础组件服务,包括但不限于:云服务管控、大规模资源调度系统、商品管理、经营分析、计费计量、报表平台、云平台资源、配额、预算、权限等横向平台建设; 2、抽象多云适配层,适配不同云环境,构建用云过程自助服务,业务通过简单操作,自动完成微服务、配置、存储数据的迁移流程; 3、构建高效稳定的云平台元数据管理服务、云平台构建和高级资源编排服务; 4、负责字节跳动基础架构技术中台交易体系的核心商品域业务需求开发、系统维护,完成需求分析、方案设计和实现; 5、负责商品系统的类目、成本、定价、规格等多个子域的系统设计与维护; 6、负责承载亿级应用程序引擎的研发:负责字节跳动业务架构设计构建高效的在离线服务托管平台; 7、设计研发PaaS/FaaS的关键组件,打造业界领先的无服务器平台Serverless。