快手Java开发工程师(资产平台)- 【数据平台部】
任职要求
1、精通Java语言,精通多线程编程,熟悉常见的缓存、消息队列等中间件; 2、熟悉Hive,Spark,ClickHouse,Flink等开源软件和框架; 3、熟悉分布式基本原理,对高可靠,高并发,高吞吐系统特性有一定理解; 4、热爱…
工作职责
1、参与公司级数据资产平台建设,涵盖资产管理、分群管理、洞察分析、策略运营等平台功能及基础服务建设; 2、充分利用微服务、大数据OLAP引擎、内存加速引擎等技术构建高可用、高扩展和低耦合高内聚的数据中台服务; 3、熟悉业界资产、画像平台的技术体系,为快手数据产品研发引入创造性的技术方案,解决面临的各种复杂问题与挑战。
阿里资产技术团队负责建设全球领先的网络资产处置平台,承载司法拍卖、破产处置、珍品交易等多个市场体量巨大的业务,挑战海量用户和数据、巨量资金带来的复杂大型互联网系统架构。 1. 负责阿里资产数据体系的规划设计和建设,通过数据产品和数据服务等方式,实现数据驱动业务增长; 2. 负责阿里资产相关的离线数仓、实时数仓,数据服务化的设计、开发、性能优化,为上层分析和挖掘提供可靠、统一的离线+实时数据服务; 3. 负责离线/实时的ETL工作,为各业务提供定制化的数据支持,并优化计算任务性能; 4. 沉淀分析思路与框架,提炼数据产品需求,与算法、工程团队合作,实现数据精细化运营。
加入我们,您将参与构建贝壳核心数据资产楼盘字典(集团战略项目)。基于AI技术全面推进数据生产工艺升级,沉淀平台核心数据资产,建立数据生产与消费的市场化机制,实现服务体验与业务效率的代际变迁。您将有机会深度参与: 1.参与数据智能生产方向研发,利用AI技术重塑数据生产链路,降低生产成本,提升数据规模; 2.参与数据资产交易所建设,探索数据资产在贝壳全业务场景下的价值; 3.参与数据质量体系和平台SaaS工具体系建设; 4.参与楼盘字典相关数据服务、平台系统研发,如:信息检索(日均20亿+)、地图、匹配、质检、智能内容生产等。
1. 负责蚂蚁数字科技数据架构&资产等相关数据产品平台的可行性评估、系统功能、稳定性、用户体验等系统设计及研发落地工作; 2. 规划并开发应用系统,负责核心模块以及复杂问题的攻关解决,带领研发工程师发现和解决存在的技术问题,保证系统的性能和稳定性、文档撰写、code reivew和单元测试,确保项目的进度和质量; 3. 紧跟技术发展趋势,将先进成熟的技术应用到产品中,通过技术助力业务发展。
1、数据资产管理平台开发与治理 构建企业级数据资产管理平台,构建数据清晰的血缘,支持高效溯源。 建立元数据管理、数据血缘追踪、质量监控与安全合规体系。 2、知识图谱构建与优化 从结构化/非结构化数据中提取实体与关系,构建行业知识图谱(如客户关系图谱)。 通过规则引擎、NLP模型持续优化图谱质量。 3、AI助理系统开发 集成大语言模型(LLM)与垂直知识库,开发智能问答、自然语言查询及自动化报表功能。 设计API/Web接口,支持业务用户通过自然语言调用数据服务(如“查询某产品的销售趋势”)。 搭建模型训练与部署框架,实现AI能力快速迭代。 4、数据安全合规与质量管理 建立数据质量指标(完整性、一致性、准确性),开发自动化检测与修复工具。 实现异常数据实时告警(如延迟、权限越权),并通过邮件/SMS/企业微信通知责任人。 5、平台性能与稳定性保障 优化Spark/Flink任务性能,提升高并发场景下的平台稳定性。 监控系统运行状态,设计容灾机制与自动化运维工具,降低故障率。