拼多多数据开发工程师(离线数据方向)
任职要求
1、良好的SQL能力,从事过数据仓库开发和业务分析等相关工作; 2、熟悉互联网公司数据模型、数据标准,具备电…
工作职责
1.负责电商业务的仓配相关基础数据的建设,包括数据埋点的设置,数据仓库的建立和维护,报表的开发,业务系统的数据开发等; 2.负责保证数据的正确性和丰富性; 3.负责开发离线数据,推动全链路的线上化和数字化。
团队介绍:字节跳动推荐架构团队,负责字节跳动超10亿用户产品推荐系统架构的设计和开发,保障系统稳定和高可用;负责在线服务、离线数据流性能优化,解决系统瓶颈,降低成本开销;抽象系统通用组件和服务,建设推荐中台、数据中台,支撑新产品快速孵化以及为ToB赋能;实现灵活可扩展的高性能存储系统和计算模型,打通离在线数据流,构建统一的数据中台,支持推荐/搜索/广告。 1、为大规模推荐系统设计和实现合理的离线/实时数据架构,打造业界领先的离在线存储、批式流式计算框架等分布式系统,为海量数据和大规模业务系统提供可靠的平台化基础设施; 2、深入推荐系统,探索数据架构如何为业务赋能,提升线上效果; 3、尝试打破现有边界,探索核心框架的演进、新技术的应用、推荐大模型的落地; 4、生产系统的TROUBLE-SHOOTING和成本优化,设计和实现必要的机制和工具保障生产系统整体运行的稳定性与效率。
1.参与建设京东零售企业级数仓,基于对供应链各业务(采购、退供、清滞、内配、报废等)理解,设计相关数仓模型,并建设实时离线的数据资产; 2.根据供应链业务需求进行数据和看板建设,对供应链及相关业务进行数据探索,基于大数据能力对业务提供深入有效的数据支持; 3.参与数据产品建设,负责内外部数据产品的供应链模块的数据研发工; 4.参与数据治理工作,能基于一致性、及时性、准确性的要求不断提高供应链数据资产的可靠性以及供应链指标的统一性和易用性。
1. 负责商业/广告/流量数据仓库的整体设计、建设及后续持续迭代升级; 2. 负责业务数据的全流程开发,深入理解并抽象业务需求,完成从业务模型到数据模型的设计和开发,与业务团队紧密合作,发挥数据价值 3. 数据平台性能调优,支持海量数据的离线和实时分析,改进多维数据仓库产品的设计与设计,保证在海量数据下,查询结果能高效快速输出; 4. 关注和参与大数据方向开源产品的技术动态与演进,推动平台产品与技术架构持续更新;