logo of bytedance

字节跳动大模型推理存储系统工程师/专家-Seed

社招全职A98910A地点:北京状态:招聘

任职要求


1、熟练掌握Linux环境下的C++/Go/Python/Shell等1至2种以上语言;
2、熟悉Kubernetes架构和生态,熟悉PV/CSI等云原生容器存储技术,有丰富的机器学习系统实践和开发经验;
3、掌握分布式系统原理,参与过大规模分布式系统的设计、开发和维护;
4、有优秀的逻辑分析能力,能够对业务逻辑进行合理的抽象和拆分;
5、有强烈的工作责任心,较好的学习能力、沟通能力和自驱力,能够快速的响应和行动;
6、有良好的工作文档习惯,及时按要求撰写更新工作流程及技术文档。

加分项:
1、熟悉至少一种主流的机器学习框架/推理引擎(例如vLLM/SGLang/PyTorch);
2、有大模型推理相关的技术落地经验,比如:KVCache相关优化的实现;
3、熟悉分布式缓存系统(例如Alluxio/JuiceFS/GooseFS/JindoFS)等;
4、熟悉NVLink、RDMA、NCCL、GPU Direct等技术;
5、在计算机系统存储顶会(包括但不限于OSDI/SOSP/FAST)上有文章发表经验。

工作职责


团队介绍:字节跳动豆包大模型团队(Seed)成立于 2023 年,致力于寻找通用智能的新方法,追求智能上限,并探索新的交互。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等,在中国、新加坡、美国等地设有实验室和岗位。 
豆包大模型团队在 AI 领域拥有长期愿景与决心,坚持深耕基础,期望成为世界一流的 AI 研究团队,为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力,支持豆包、扣子、即梦等超过 50 个应用场景。

1、负责机器学习系统存储相关组件的设计和开发,服务于大模型推理的各业务场景(LLM/S2S/VLM/多模态等),包括模型分发加载、KV Cache存储和优化,数据IO性能优化,提高推理TTFT、TBT等核心性能指标;
2、负责设计和实现面向大模型推理的多层级存储系统,综合利用显存、本地内存、分布式内存/磁盘、远端大容量存储系统(HDFS/对象存储)等多种介质进行数据的存储和迁移管理,实现「近计算缓存+远端大容量存储」的一体化分级系统;
3、负责优化大模型KV Cache命中率,从推理框架,流量调度,多级缓存等多个系统纬度入手定制化优化策略;优化数据的读取性能,充分利用近计算侧的NVLink、RDMA高速网络、GPU Direct技术实现数据的高效传输;优化数据副本的存放策略,实现负载流量和存储数据的合理化分布;
4、负责设计和实现高效、易用的数据访问接口,实现和推理框架、引擎的无缝对接,管理KV Cache的生命周期;
5、负责Kubernetes场景下多级存储系统的接入、管理、运维、监控,确保稳定性;
6、负责多机房、多地域、多云场景的系统搭建和容灾,优化跨集群的数据摆放。
包括英文材料
Linux+
C+++
Go+
Python+
Bash+
Kubernetes+
机器学习+
分布式系统+
推理引擎+
vLLM+
PyTorch+
大模型+
缓存+
相关职位

logo of bytedance
社招A121315

团队介绍:字节跳动豆包大模型团队(Seed)成立于 2023 年,致力于寻找通用智能的新方法,追求智能上限,并探索新的交互。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等,在中国、新加坡、美国等地设有实验室和岗位。 豆包大模型团队在 AI 领域拥有长期愿景与决心,坚持深耕基础,期望成为世界一流的 AI 研究团队,为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力,支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责机器学习系统存储相关组件的设计和开发,服务于大模型推理的各业务场景(LLM/S2S/VLM/多模态等),包括模型分发加载、KV Cache存储和优化,数据IO性能优化,提高推理TTFT、TBT等核心性能指标; 2、负责设计和实现面向大模型推理的多层级存储系统,综合利用显存、本地内存、分布式内存/磁盘、远端大容量存储系统(HDFS/对象存储)等多种介质进行数据的存储和迁移管理,实现「近计算缓存+远端大容量存储」的一体化分级系统; 3、负责优化大模型KV Cache命中率,从推理框架,流量调度,多级缓存等多个系统纬度入手定制化优化策略;优化数据的读取性能,充分利用近计算侧的NVLink、RDMA高速网络、GPU Direct技术实现数据的高效传输;优化数据副本的存放策略,实现负载流量和存储数据的合理化分布; 4、负责设计和实现高效、易用的数据访问接口,实现和推理框架、引擎的无缝对接,管理KV Cache的生命周期; 5、负责Kubernetes场景下多级存储系统的接入、管理、运维、监控,确保稳定性; 6、负责多机房、多地域、多云场景的系统搭建和容灾,优化跨集群的数据摆放。

更新于 2024-12-20
logo of bytedance
社招A258048

团队介绍:字节跳动豆包大模型团队(Seed)成立于 2023 年,致力于寻找通用智能的新方法,追求智能上限,并探索新的交互。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等,在中国、新加坡、美国等地设有实验室和岗位。 豆包大模型团队在 AI 领域拥有长期愿景与决心,坚持深耕基础,期望成为世界一流的 AI 研究团队,为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力,支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责海量大模型异构资源的调度编排、算力池化、弹性资源混布、潮汐资源拆借和Quota管理; 2、负责大模型推理服务的多角色、多阶段、PD分图/EP调度,KVCache centric调度,实现动态、及时、准确的扩缩容管理; 3、负责通过技术手段实现计算资源、RDMA高速网络资源、缓存/存储资源的最优编排,充分发挥大规模分布式集群算力; 4、负责大模型服务的稳定性,通过线上和线下的多系统联动,实现在多种异构资源(GPU、CPU、其他异构硬件)、多云环境、多种网络流量场景的问题定位、诊断、隔离和快速恢复; 5、负责多机房、多地域、多云场景的在离线任务/服务调度,实现负载的合理化分布。

更新于 2024-12-25
logo of bytedance
社招A49953A

团队介绍:字节跳动豆包大模型团队(Seed)成立于 2023 年,致力于寻找通用智能的新方法,追求智能上限,并探索新的交互。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等,在中国、新加坡、美国等地设有实验室和岗位。 豆包大模型团队在 AI 领域拥有长期愿景与决心,坚持深耕基础,期望成为世界一流的 AI 研究团队,为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力,支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责海量大模型异构资源的调度编排、算力池化、弹性资源混布、潮汐资源拆借和Quota管理; 2、负责大模型推理服务的多角色、多阶段、PD分图/EP调度,KVCache centric调度,实现动态、及时、准确的扩缩容管理; 3、负责通过技术手段实现计算资源、RDMA高速网络资源、缓存/存储资源的最优编排,充分发挥大规模分布式集群算力; 4、负责大模型服务的稳定性,通过线上和线下的多系统联动,实现在多种异构资源(GPU、CPU、其他异构硬件)、多云环境、多种网络流量场景的问题定位、诊断、隔离和快速恢复; 5、负责多机房、多地域、多云场景的在离线任务/服务调度,实现负载的合理化分布。

更新于 2024-12-25
logo of bytedance
社招A62820

团队介绍:字节跳动豆包大模型团队(Seed)成立于 2023 年,致力于寻找通用智能的新方法,追求智能上限,并探索新的交互。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等,在中国、新加坡、美国等地设有实验室和岗位。 豆包大模型团队在 AI 领域拥有长期愿景与决心,坚持深耕基础,期望成为世界一流的 AI 研究团队,为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力,支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责海量大模型异构资源的调度编排、算力池化、弹性资源混布、潮汐资源拆借和Quota管理; 2、负责大模型推理服务的多角色、多阶段、PD分图/EP调度,KVCache centric调度,实现动态、及时、准确的扩缩容管理; 3、负责通过技术手段实现计算资源、RDMA高速网络资源、缓存/存储资源的最优编排,充分发挥大规模分布式集群算力; 4、负责大模型服务的稳定性,通过线上和线下的多系统联动,实现在多种异构资源(GPU、CPU、其他异构硬件)、多云环境、多种网络流量场景的问题定位、诊断、隔离和快速恢复; 5、负责多机房、多地域、多云场景的在离线任务/服务调度,实现负载的合理化分布。

更新于 2024-12-25