网易大数据组件研发工程师(实时方向)
任职要求
1. 本科及以上学历,2年以上相关经验。 2. 熟悉实时计算核心组件Flink/Iceberg/Kafka/Pulsar一种或多种,有相关的使用与开发经验。 3. Java语言精通,有大数据开源软件的开发和贡献经验者优先。 4. 熟悉大数据,实时数仓,数据湖的业…
工作职责
1. 负责Flink/Iceberg/Kafka/Pulsar等实时计算核心组件的开发,持续提升功能,性能与稳定性。 2. 基于实时计算组件与平台,为业务提供高质量的流计算服务。并主动分析持续针对下游业务进行稳定性,性能与成本方面的优化工作。 3. 负责一定的运维开发工作,为实时计算组件提供完善的指标/告警体系,容量管理等功能。 4. 参与数据湖相关平台与业务的开发。
职位描述: 1. 负责Flink/Iceberg/Kafka/Pulsar等实时计算核心组件的开发,持续提升功能,性能与稳定性。 2. 基于实时计算组件与平台,为业务提供高质量的流计算服务。并主动分析持续针对下游业务进行稳定性,性能与成本方面的优化工作。 3. 负责一定的运维开发工作,为实时计算组件提供完善的指标/告警体系,容量管理等功能。 4. 参与数据湖相关平台与业务的开发。
1、主导超大规模推荐系统的核心存储架构设计,构建支持千亿级特征的高性能数据管道,优化实时特征计算(毫秒级延迟)与离线特征处理(PB级吞吐)的混合负载调度; 2、研发新一代多模态特征存储引擎,设计支持稀疏矩阵、时序特征、图的高效存储格式,实现特征数据的版本化管理和跨DC级数据同步; 3、打造智能特征服务平台,集成特征血缘追踪、自动降级熔断、热点数据预取等核心能力,支撑日均千亿次特征查询的稳定服务; 4、探索存储技术前沿,落地向量化检索、持久化内存、异构存储池管理等创新技术,构建支持千卡级GPU集群的特征供给体系; 5、设计面向特征工程的开发框架,实现特征变换、特征注册、质量监控的完整工具链,提升算法团队迭代效率。
1.主R/参与风驰系统(智能运营系统)、智能物化系统、履约BR产品之一,打造满足履约场景的智能运营和BI分析平台。 2.根据配送业务场景,与各业务团队深入合作,搭建满足配送一线管理团队,商分,运营,策略等团队日常运营及分析的数据分析产品体系; 3.负责规划和设计分析型数据工具和应用系统或产品;协同业务方,PM,RD,QA等资源,完成配送数据产品推动落地和持续迭代; 4.通过抽象建设覆盖经营、成本、运力、体验等主题的数据分析方法和分析思路,赋能业务发展。
1、深耕抖音创作者生态与运营体系,业务方向包括但不限于: 1)创作者中心(创作者成长、内容管理、数据分析、激励分成等); 2)运营平台(运营工作流、活动配置、资源投放、数据监控、活动管理等); 3)版权管理(短剧管理、内容版权保护、版权识别、侵权治理等); 4)生态治理(原创、营销感治理、低质治理等); 2、业务开发与系统建设: 1)负责抖音生态业务系统(创作者中心/运营平台/版权平台/生态治理等)的设计与开发,支撑亿级用户场景; 2)主导高并发分布式架构设计,应对百亿级流量挑战,保障系统高可用性与稳定性; 3)建设通用服务组件与中间件,提升研发效能与系统扩展性; 3、技术架构与性能优化: 1)持续优化MySQL/Redis/MQ等核心组件性能,设计容灾监控体系与自动化运维方案; 2)推进服务化/异步化架构演进,解决复杂业务场景下的数据一致性、服务降级等挑战; 3)主导系统性能调优,包括Golang运行时调优等; 4、创新探索与前沿技术落地: 1)探索大模型、AIGC等技术在业务场景的应用(如智能审核、自动化运营、数据洞察); 2)研发低代码平台、规则引擎等解决方案,赋能B端复杂业务流程; 3)推动算法工程化落地,构建高吞吐、低延迟的实时数据处理系统。