YY直播大数据平台开发工程师(J10509)
任职要求
任职要求： 1、计算机相关专业，大学本科学历，3年以上大数据开发相关工作经验； 2、熟悉大数据相关组件(如Hive、spark、hdfs、yarn、ambari等)，具备编写、优化复…
工作职责
1、负责大数据平台开发工作，主要hadoop集群相关，能够解决业务的需求开发。 2、负责大数据平台的日常运维管理，保障数据平台的稳定性。 3、解决大数据平台的故障及性能问题，提升数据存储和计算效率。
1、负责公司大数据平台及应用平台的设计、开发、环境搭建、调优及故障诊断； 2、负责公司大数据计算组件平台级支持服务，以及大数据计算组件的研发和性能优化工作； 3、跟进相关计算组件社区最新动态，在确保平台稳定运行的同时升级新特性。
1. 负责或参与大数据平台的架构设计以及基础组件的调优、改造、升级； 2. 结合客户需求，负责和参与大数据产品的设计与研发； 3. 负责数据平台新技术的研究及应用落地。
岗位职责： 1. 平台全生命周期管理：负责大数据平台的架构设计、核心模块研发与全链路维护。通过系统化监控、故障预警与应急响应机制，保障系统稳定运行。 2. 资源效能优化：深度分析平台资源使用状况，通过性能调优、成本控制与资源动态调度策略，实现集群资源利用率提升。同时推动数据治理体系建设，保障数据质量、安全性及合规性。 工作内容： 1. 平台迭代与稳定性保障：负责数据平台核心模块（如分布式调度系统、元数据资产管理、异构数据集成平台等）的持续迭代 2. AI 技术深度融合：参与算法平台与 AI 基础服务的研发，构建智能化数据处理流水线，提升业务研发效率。 3. 智能化数据治理：利用 NLP、大模型 等 AI 技术实现数据治理自动化，降低人工成本，提升数据价值。
1.负责指标平台、用户画像平台等数据平台的后端服务与数据查询接口研发与优化。 2.参与画像标签的生产、同步与维护，保证标签口径统一与数据的准确、及时。 3.支撑数据产品版本迭代，按需求完成功能新增、性能优化、监控与日志补全等工作。 4.配合算法团队，参与在线推荐服务的接口与数据链路开发，保障在线服务结果的稳定、高效输出。 5.参与大模型相关探索，如指标助手、图文生成等大模型应用，以及MCP等框架的数据接口开发与接入。 6.跟踪业界大数据和实时计算技术发展，评估并引入合适的新技术方案，持续优化平台架构与研发效率。 7.积极响应线上问题，对数据查询、平台任务故障等问题进行快速排查与修复，保障数据平台高可用与稳定运行。