蔚来服务调度
1. 实现一种服务组合部署策略算法,优化服务的物理部署架构,在不影响服务部署效率的情况下,减少混部干扰,提升资源使用效率和整体服务性能; 2. 实现一套服务资源观察系统,能全面准确的度量和评估影响服务能力的所有物理资源指标; 3. 建设一套参数自动寻优系统,对服务系统的上千个配置参数进行自动优化,使得服务使用的系统资源和业务效果能达到优化平衡; 4. 根据服务间的物理部署关系,灵活的选择高效的通信技术实现,通过UDS/ShareMemory等实现高效的本地通信技术。
1. 基于机票行业特点,搭建有效的高价值用户交付管控流程,持续优化高阶交付体验; 2. 制定高价值交付规范,提升高价值交付效能,并通过不断培训赋能团队业务; 3. 跨团队协同与系统建设,可联动多部门,提升高价值团队交付质量; 4. 应急响应与峰值保障,制定大促以及极端天气等场景下的高阶服务弹性扩容预案,确保高并发下服务不降级。
团队介绍:字节跳动豆包大模型团队(Seed)成立于 2023 年,致力于寻找通用智能的新方法,追求智能上限,并探索新的交互。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等,在中国、新加坡、美国等地设有实验室和岗位。 豆包大模型团队在 AI 领域拥有长期愿景与决心,坚持深耕基础,期望成为世界一流的 AI 研究团队,为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力,支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责机器学习系统资源调度的设计和开发,服务于各方向场景(NLP/CV/Speech等)的模型训练、模型评估和模型推理; 2、负责多种异构资源(GPU、CPU、其他异构硬件)的最优化编排,实现稳定资源、潮汐资源、混布资源、多云资源的合理化使用; 3、负责通过技术手段实现计算资源、RDMA高速网络资源、存储资源的最优调度,充分发挥大规模分布式集群的计算能力; 4、负责多机房、多地域、多云场景的在离线任务/服务调度,实现全球负载的合理化分布。
团队介绍:字节跳动 Seed 团队成立于 2023 年,致力于寻找通用智能的新方法,追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等,在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心,坚持深耕基础,期望成为世界一流的 AI 研究团队,为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力,支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责机器学习系统资源调度的设计和开发,服务于各方向场景(NLP/CV/Speech等)的模型训练、模型评估和模型推理; 2、负责多种异构资源(GPU、CPU、其他异构硬件)的最优化编排,实现稳定资源、潮汐资源、混布资源、多云资源的合理化使用; 3、负责通过技术手段实现计算资源、RDMA高速网络资源、存储资源的最优调度,充分发挥大规模分布式集群的计算能力; 4、负责多机房、多地域、多云场景的在离线任务/服务调度,实现负载的合理化分布; 5、负责资源的复用和利用率的提升,更好的利用大模型场景中的预训练、后训练、离线推理、评估等任务的特性,优化排队、优先级、抢占等逻辑,提升集群利用率。