字节跳动数据传输服务开发工程师

1、面向公司所有业务提供数据传输解决方案，参与美团数据传输产品DTS的架构设计与研发工作。 2、参与数据层基础Paas能力的构建职责，重点解决数据传输过程中故障快速恢复、数据正确和差异处理、城市级数据灾备、实时运维保障等通用问题，并提供完整的解决方案和配套系统及工具。 3、深入了解数据传输、容灾领域产品现状及发展趋势，并参与数据传输新技术的预研和落地。 4、参与出海项目，提供高性能、低成本的跨国数据传输能力。

1、负责数据传输产品的设计和核心技术研发，包括数据同步/同异构迁移/备份/订阅； 2、根据各类需求场景输出数据最佳上云方案； 3、大规模高并发分布式系统架构设计和各项优化研究（高可用/性能/成本）；

1、负责海外大数据平台的架构优化与解决方案制定。 2、对大数据服务进行性能优化，确保集群的高效与稳定运行，提升系统稳定性与可扩展性 3、优化大数据相关的数据治理、数据传输、数据建模、数据统计等问题 4、承接实时/离线的大数据处理流程开发，满足平台内各种数据业务需求 5、负责制定技术方案并组织编写技术文档和用户手册等

团队介绍：字节跳动豆包大模型团队（Seed）成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限，并探索新的交互。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 豆包大模型团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责机器学习系统存储相关组件的设计和开发，服务于大模型推理的各业务场景（LLM/S2S/VLM/多模态等），包括模型分发加载、KV Cache存储和优化，数据IO性能优化，提高推理TTFT、TBT等核心性能指标； 2、负责设计和实现面向大模型推理的多层级存储系统，综合利用显存、本地内存、分布式内存/磁盘、远端大容量存储系统（HDFS/对象存储）等多种介质进行数据的存储和迁移管理，实现「近计算缓存+远端大容量存储」的一体化分级系统； 3、负责优化大模型KV Cache命中率，从推理框架，流量调度，多级缓存等多个系统纬度入手定制化优化策略；优化数据的读取性能，充分利用近计算侧的NVLink、RDMA高速网络、GPU Direct技术实现数据的高效传输；优化数据副本的存放策略，实现负载流量和存储数据的合理化分布； 4、负责设计和实现高效、易用的数据访问接口，实现和推理框架、引擎的无缝对接，管理KV Cache的生命周期； 5、负责Kubernetes场景下多级存储系统的接入、管理、运维、监控，确保稳定性； 6、负责多机房、多地域、多云场景的系统搭建和容灾，优化跨集群的数据摆放。