携程Java大数据平台开发工程师(MJ026731)
任职要求
岗位要求： 1、具有五年以上的大数据开发经验。 2、精通Java，同时拥有python语言优先 3、具有OLAP引擎实际开发、使用经验，如Impala、Starrocks等，同时了解云产品Hologres、Bigquery优先 4、具有大数据Kudu、Hive、Spar…
工作职责
1、负责海外大数据平台的架构优化与解决方案制定。 2、对大数据服务进行性能优化，确保集群的高效与稳定运行，提升系统稳定性与可扩展性 3、优化大数据相关的数据治理、数据传输、数据建模、数据统计等问题 4、承接实时/离线的大数据处理流程开发，满足平台内各种数据业务需求 5、负责制定技术方案并组织编写技术文档和用户手册等
1、数据底座平台开发： 参与企业级数据中台/数据湖管理平台的后端开发（涵盖数据资产管理、数据质量监控、元数据管理等模块）； 基于 Spring Boot/Cloud 构建高性能的数据服务API，实现数据资产的快速发布与共享； 负责数据处理任务（ETL）的调度与监控逻辑实现，保障数据流转的稳定性； 2、AI智能体（Data Agent）研发： 参与 Text-to-SQL（自然语言转SQL）智能体的开发与调优，让业务人员通过对话即可查询数据库； 基于 RAG（检索增强生成） 技术，开发企业内部知识库问答助手，辅助数据治理与指标解释； 利用 Java 对接大模型接口（OpenAI/通义千问等），封装通用的AI服务组件； 3、系统集成与优化： 负责平台与大数据组件（Hive, Spark, Flink, Kafka等）的交互接口开发； 参与系统性能调优，解决高并发下的数据查询延迟问题。
岗位职责： 1. 平台全生命周期管理：负责大数据平台的架构设计、核心模块研发与全链路维护。通过系统化监控、故障预警与应急响应机制，保障系统稳定运行。 2. 资源效能优化：深度分析平台资源使用状况，通过性能调优、成本控制与资源动态调度策略，实现集群资源利用率提升。同时推动数据治理体系建设，保障数据质量、安全性及合规性。 工作内容： 1. 平台迭代与稳定性保障：负责数据平台核心模块（如分布式调度系统、元数据资产管理、异构数据集成平台等）的持续迭代 2. AI 技术深度融合：参与算法平台与 AI 基础服务的研发，构建智能化数据处理流水线，提升业务研发效率。 3. 智能化数据治理：利用 NLP、大模型 等 AI 技术实现数据治理自动化，降低人工成本，提升数据价值。
1.负责大数据开发平台的设计实现，负责千万级 CPU 调度、PB 级存储规模下的超大规模大数据平台（如计算引擎、任务调度系统、数据接入等）的核心后端开发；保障系统在高并发、高吞吐场景下的极致稳定性与性能； 2.参与到需求评审、技术方案设计、编码实现、代码CR、功能测试等研发全流程工作； 3.与产品经理、测试运维等相关团队紧密协作，推动平台能力的高效快速落地； 4.持续优化系统架构，沉淀平台级公共服务组件，促进平台研发迭代效率，进一步提升系统性能和稳定性。
1.负责指标平台、用户画像平台等数据平台的后端服务与数据查询接口研发与优化。 2.参与画像标签的生产、同步与维护，保证标签口径统一与数据的准确、及时。 3.支撑数据产品版本迭代，按需求完成功能新增、性能优化、监控与日志补全等工作。 4.配合算法团队，参与在线推荐服务的接口与数据链路开发，保障在线服务结果的稳定、高效输出。 5.参与大模型相关探索，如指标助手、图文生成等大模型应用，以及MCP等框架的数据接口开发与接入。 6.跟踪业界大数据和实时计算技术发展，评估并引入合适的新技术方案，持续优化平台架构与研发效率。 7.积极响应线上问题，对数据查询、平台任务故障等问题进行快速排查与修复，保障数据平台高可用与稳定运行。