字节跳动数据传输服务开发工程师
任职要求
1、计算机相关专业本科及以上学历; 2、熟练掌握linux环境下golang/python/java/c/c++ 中的一种或几种,以及相应开发框架下的服务端多线程、高并发处理技术,良好的编码习惯,包括代码整洁、重构、单元测试等; 3、熟练掌握常见的数据结构和算法;熟悉网络的基本原理,如TCP/IP协议,HTTP协议等; 4、数据库技术,RDBMS、No…
工作职责
1、负责数据传输产品的设计和核心技术研发,包括数据同步/同异构迁移/备份/订阅; 2、根据各类需求场景输出数据最佳上云方案; 3、大规模高并发分布式系统架构设计和各项优化研究(高可用/性能/成本);
1、负责海外大数据平台的架构优化与解决方案制定。 2、对大数据服务进行性能优化,确保集群的高效与稳定运行,提升系统稳定性与可扩展性 3、优化大数据相关的数据治理、数据传输、数据建模、数据统计等问题 4、承接实时/离线的大数据处理流程开发,满足平台内各种数据业务需求 5、负责制定技术方案并组织编写技术文档和用户手册等
团队介绍:字节跳动豆包大模型团队(Seed)成立于 2023 年,致力于寻找通用智能的新方法,追求智能上限,并探索新的交互。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等,在中国、新加坡、美国等地设有实验室和岗位。 豆包大模型团队在 AI 领域拥有长期愿景与决心,坚持深耕基础,期望成为世界一流的 AI 研究团队,为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力,支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责机器学习系统存储相关组件的设计和开发,服务于大模型推理的各业务场景(LLM/S2S/VLM/多模态等),包括模型分发加载、KV Cache存储和优化,数据IO性能优化,提高推理TTFT、TBT等核心性能指标; 2、负责设计和实现面向大模型推理的多层级存储系统,综合利用显存、本地内存、分布式内存/磁盘、远端大容量存储系统(HDFS/对象存储)等多种介质进行数据的存储和迁移管理,实现「近计算缓存+远端大容量存储」的一体化分级系统; 3、负责优化大模型KV Cache命中率,从推理框架,流量调度,多级缓存等多个系统纬度入手定制化优化策略;优化数据的读取性能,充分利用近计算侧的NVLink、RDMA高速网络、GPU Direct技术实现数据的高效传输;优化数据副本的存放策略,实现负载流量和存储数据的合理化分布; 4、负责设计和实现高效、易用的数据访问接口,实现和推理框架、引擎的无缝对接,管理KV Cache的生命周期; 5、负责Kubernetes场景下多级存储系统的接入、管理、运维、监控,确保稳定性; 6、负责多机房、多地域、多云场景的系统搭建和容灾,优化跨集群的数据摆放。
团队介绍: 阿里云 API 门户是阿里云开发者一站式集成平台,集搜索、学习、调试、诊断等阿里云 OpenAPI 的功能于一体,,每年助力百万级数量的开发者实现阿里云 API 的高效集成与对接。加入我们,与团队携手构建卓越的 API 开发者体验,推动阿里云生态的持续繁荣发展。 岗位职责: 1. 升级并研发阿里云 API 元数据服务,提升系统的性能、稳定性和可用性,升级阿里云 API 门户自动化部署能力。升级优化阿里云 API 文档生产流程,提升阿里云 API 文档质量。 2. 升级优化阿里云 API 门户搜索、学习、调试、诊断等 API 全生命周期功能,通过技术手段和创新解决方案,降低阿里云 API 开发者首次成功调用 API 的时间,提升阿里云 API 开发者的使用效率和体验。 3. 负责团队后端工程化体系建设,逐步提升团队的研发效率和研发质量。通过技术驱动业务发展,为阿里云 API 门户的业务增长和创新提供有力支持。