京东大数据运维开发岗
任职要求
1. 教育背景 学历要求:本科及以上学历,计算机科学、软件工程或相关专业; 2. 工作经验 工作经验:5-10年大数据平台维护经验,具备大规模数据平台运维经验; 3. 能力要求: 技术能力:深入理解Linux系统,熟悉运维体系结构,精通容量规划、架构设计、性能优化;具备一定的开发能力,精通至少一种脚本语言(如Shell、Perl、Python等),熟悉Java/C/C++等开发语言,具备良好的系统性能优化及故障排除能力;熟悉Hadoop、HBase、Hive、Spark、Presto等大数据技术栈,具备管理、配置、运维经验;熟悉分布式系统设计范式,有大规模系统设计和工程实现经验者优先;熟悉SaltStack/An…
工作职责
1. 负责大数据基础架构平台(如Hadoop、YARN、Hive、Spark、Presto等)及各类中间件的运维工作,确保数据平台服务的稳定性与高可用性; 2. 承担大数据环境的组件升级、资源规划、服务监控等持续运营与规划任务,优化系统性能,提升运维效率; 3. 参与自动化运维系统及平台的建设,推动运维流程的自动化与智能化,减少人工干预,提高运维质量; 4. 解决平台技术难题,对突发问题快速响应并解决,确保业务连续性和数据安全; 5. 优化部门运维流程,提升整体运维效率,确保团队能够高效协作,共同达成业务目标。
团队介绍:TikTok是一个覆盖150个国家和地区的国际短视频平台,我们希望通过TikTok发现真实、有趣的瞬间,让生活更美好。TikTok 在全球各地设有办公室,全球总部位于洛杉矶和新加坡,办公地点还包括纽约、伦敦、都柏林、巴黎、柏林、迪拜、雅加达、首尔和东京等多个城市。 TikTok研发团队,旨在实现TikTok业务的研发工作,搭建及维护业界领先的产品。加入我们,你能接触到包括用户增长、社交、直播、电商C端、内容创造、内容消费等核心业务场景,支持产品在全球赛道上高速发展;也能接触到包括服务架构、基础技术等方向上的技术挑战,保障业务持续高质量、高效率、且安全地为用户服务;同时还能为不同业务场景提供全面的技术解决方案,优化各项产品指标及用户体验。 在这里, 有大牛带队与大家一同不断探索前沿, 突破想象空间。 在这里,你的每一行代码都将服务亿万用户。在这里,团队专业且纯粹,合作氛围平等且轻松。目前在北京,上海,杭州、广州、深圳分别开放多个岗位机会。 1、与TikTok产品工程团队合作,构建新产品,并增强现有产品,以满足业务需求; 2、理解、应用和使用TikTok的产品和创新技术,与合作伙伴一起识别、开发和最大化新的和现有的商业前景; 3、与客户合作伙伴团队建立密切的合作伙伴关系,以识别潜在的商业机会并支持他们实现业务目标; 4、设计和建立端到端系统和启动计划战略;与跨职能团队合作,启动生产级代码,重点是长期可运维性和可扩展性,以及适用的留档和测试计划; 5、将跨职能合作伙伴与项目完成目标对齐;与内部和外部利益相关者建立和培养关系;使用数据通过展示业务价值和影响来影响决策。
团队介绍:字节跳动豆包大模型团队(Seed)成立于 2023 年,致力于寻找通用智能的新方法,追求智能上限,并探索新的交互。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等,在中国、新加坡、美国等地设有实验室和岗位。 豆包大模型团队在 AI 领域拥有长期愿景与决心,坚持深耕基础,期望成为世界一流的 AI 研究团队,为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力,支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责机器学习系统存储相关组件的设计和开发,服务于大模型推理的各业务场景(LLM/S2S/VLM/多模态等),包括模型分发加载、KV Cache存储和优化,数据IO性能优化,提高推理TTFT、TBT等核心性能指标; 2、负责设计和实现面向大模型推理的多层级存储系统,综合利用显存、本地内存、分布式内存/磁盘、远端大容量存储系统(HDFS/对象存储)等多种介质进行数据的存储和迁移管理,实现「近计算缓存+远端大容量存储」的一体化分级系统; 3、负责优化大模型KV Cache命中率,从推理框架,流量调度,多级缓存等多个系统纬度入手定制化优化策略;优化数据的读取性能,充分利用近计算侧的NVLink、RDMA高速网络、GPU Direct技术实现数据的高效传输;优化数据副本的存放策略,实现负载流量和存储数据的合理化分布; 4、负责设计和实现高效、易用的数据访问接口,实现和推理框架、引擎的无缝对接,管理KV Cache的生命周期; 5、负责Kubernetes场景下多级存储系统的接入、管理、运维、监控,确保稳定性; 6、负责多机房、多地域、多云场景的系统搭建和容灾,优化跨集群的数据摆放。
团队与角色介绍: 我们是阿里巴巴国际数字商业集团(AIDC)的智能技术-智能引擎团队,负责支撑包括Lazada、AliExpress、Miravia、Daraz等在内的阿里巴巴全球化电商平台的搜索、推荐、广告、用户增长等核心技术。我们致力于将AI领域最前沿的技术(如深度学习、大模型、Agent等)与全球化电商业务的复杂挑战深度融合,持续打造更智能、更极致的全球购物体验,并赋能数百万商家实现数字化经营提效。 岗位描述: 1、负责算法工程平台建设:构建算法与工程协同的标准化平台,包括特征平台、训练平台、在线推理框架等,支持算法在模型侧的快速迭代与业务效果验证。 2、负责大模型工程优化:负责生成式AI技术的工程落地,包含大模型训练、推理加速等技术工作。 3、负责AI创新应用探索:探索AI在搜推广场景的创新应用,如生成式召回,生成式排序、行为大模型等,以及AI agent在智能运维、资源优化、客服助手等场景上的应用。 补充说明:同时也招聘面向25年应届毕业的同学;
一、岗位定位: 作为大数据平台技术专家,负责设计、构建和维护企业级大数据平台,支撑海量数据的高效存储、计算、分析与实时处理,赋能业务分析决策与智能化场景。 二、 1.主导大数据平台的架构设计、核心模块开发与性能调优。 2.构建高可用、易用性高、可扩展的数据计算和服务平台,支持离线批处理、实时流处理、交互式查询、支持B端系统等场景。 3.设计并落地数据血缘追踪、元数据管理、数据权限控制等治理方案,优化数据生命周期管理(采集、清洗、存储、计算、归档),提升资源利用率和任务执行效率。 4.跟踪大数据领域技术趋势(如Lakehouse、流批一体、云原生架构),探索AI与大数据结合场景,提升平台自动化水平,推动技术选型与落地。 三、