快手大数据分析引擎架构研发工程师/专家(杭州)
任职要求
1、计算机或相关专业本科及以上学历; 2、熟悉主流的大数据分析引擎之一,比如 ClickHouse、Doris、Starrocks等,精读过源代码者尤佳,有开源系统二次开发经验或者所开发代码被开源社区接受者尤佳; 3、优秀的设计与编码能力,工程质量自我要求高,针对业务需求与问题,可快速设计与实现解决方案; 4、思维活跃,具备较强的问题分析与解决能力,强烈的责任心,对工作有激情,良好的沟通能力。
工作职责
1、参与快手数据平台新一代数据分析引擎的建设,支撑超大规模业务数据量,提供统一化极致性能的解决方案; 2、接受大数据平台系统设计与实现复杂度的挑战,分析和发现系统的优化点,负责推动系统的合理性、可靠性、可用性的提升; 3、和开源社区保持交流,从社区引入对公司业务场景有帮助的特性与系统,或将内部研发的功能贡献到社区。
1)基于风控数据平台,建设风控相关的数据体系,持续集成相关工具产品,以及搭建风控基础计算层相关工作; 2)参与风控离线、近线、实时数据相关系统的设计、开发,包括数据加工,计算,ETL, 管理, 监控等; 3)深入理解风控业务,根据需求进行数据模型的设计,不断完善并产出业务效果,对依赖的引擎设计提出建设性建议。
1、消费信贷决策研发平台的设计和落地,综合利用算法&数据&工程能力,为风控策略专家提供自动化的研发、测算、分析工具,提高决策速度和精度。 2.、基于消费信贷的业务特点,设计和落地可用性高、易用性高的决策部署平台,包括但不限于流程编排、Agent开发、计算加速、耗时优化等。 3、与风控策略专家、算法科学家和数据工程师深度合作,基于强化学习、大模型、多模态数据融合等技术,构建下一代具备自主決策能力的风控智能決策引擎。 4、为亿级用户提供服务的高可用底座,满足金融级别的可用性和百万级吞吐的高并发要求。
1、负责蚂蚁钱包科技用户增长领域相关数据资产建设,数据化指引/数据治理工作;沉淀营销、流量等业务的优质数据资产,打造用户增长领域高质量、高复用的精品指标。 2、熟悉隐私安全法律法规,制定数据风险管理领域的解决方案。规划业务大图和主要流程、针对复杂的业务问题能做提炼和拆解,帮助数据安全、合规、高效流转。 3、帮助海外钱包建设指标体系和经营分析体系,提升海外钱包客户经营效率
团队介绍:字节跳动搜索团队主要负责抖音、今日头条、西瓜视频等产品的搜索算法创新和架构研发工作。我们使用最前沿的机器学习技术进行端到端建模并不断创新突破,同时专注于分布式系统、机器学习系统的构建和性能优化,从内存、Disk等优化到索引压缩、召回、排序等算法的探索,充分给同学们提供成长自我的机会。主要工作方向包括:1)探索最前沿的NLP技术:从基础的分词、NER,到应用上的Query分析、基础相关性等,全链路应用深度学习模型,每个细节都充满挑战;2)探索跨模态匹配技术:在搜索中应用CV+NLP深度学习技术,让视频搜索拥有更强大的检索能力;3)探索大规模流式机器学习技术:应用大规模机器学习,解决搜索中的推荐问题,让搜索更加个性化更加懂你;4)探索千亿级数据规模的架构:从大规模离线计算,分布式系统的性能、调度优化,到构建高可用、高吞吐和低延迟的在线服务,方方面面都进行深入研究和创新。 1、探索搜索引擎与大模型、LLM、MLLM、多模态、计算机视觉、机器学习、强化学习等前沿技术的结合,实现搜索引擎全链路革新并进行极致的系统优化,探索提升AI搜索引擎的能力,包含而不限于相关性、权威性、时效性、意图理解能力等;探索LLM适性索引、LLM相关性、生成式召回、排序大模型等; 2、构建大规模高质量数据(数据建设、数据抓取与解析、数据合成等)、训练和优化AI搜索的机器学习模型(多模态内容理解、指令微调、索引筛选、Query分析、Scalable Oversight、Long CoT、模型推理/规划、模型优化、构建全面客观准确的评测体系等); 3、探索推进AI搜索、AIGC创新应用的落地(包含而不限于豆包、电商、抖音、智能硬件、AI找搭配/虚拟穿搭等大模型应用场景),研发以人工智能技术为核心的新技术、新产品,探索满足用户的智能交互需求,提升现实与物理世界的交互能力。