字节跳动资深数据开发工程师
任职要求
1、本科及以上学历，2年以上爬虫抓取采集相关工作经验； 2、熟悉主流爬取技术及爬虫框架工具，如Selenium/Puppet…
工作职责
1、遵循Robots协议，参与爬虫系统的建设与优化，满足各类业务数据需求； 2、负责分布式爬虫系统的建设，优化数据调度、抓取、解析、存储全栈流程； 3、帮助团队攻克各种爬虫技术难关，提升海量数据系统的抓取效果与性能。
1. 负责公司内部商业化数据的开发和维护，为产品和营销团队提供数据支持和分析服务； 2. 设计和开发商业化数据仓库和数据集市，实现数据的采集、清洗、存储和分析； 3. 负责数据架构的设计和维护，确保数据准确性、完整性和安全性； 4. 参与业务需求分析和数据建模工作，编写SQL语句完成数据提取、转换和加载（ETL）； 5. 能够独立完成数据问题的排查和处理，解决数据质量和性能问题； 6. 具有良好的沟通能力和团队协作能力，与不同部门的业务人员和技术人员合作，推进数据项目的进展。
大数据场景base深圳北京都OK 1.负责算法流量分配、前端页面迭代相关业务的数仓模型建设和设计；并根据需求变化和业务发展，持续优化模型; 2.结合公司相关配套数据产品，完成实际代码开发、部署，并对数据质量进行管理和优化; 3.构建自助分析数据资产，通过数据+产品，提供低成本的数据产品化能力;
1、分析业务需求，建设数据库仓库，对业务部门提供数据支持； 2、参与数据源分析，完成大数据平台与各业务系统的数据对接； 3、完成基于大数据技术平台基础上的数据仓库设计和ETL开发； 4、调研相关技术，优化大数据开发流程，规划大数据平台应用。
1、企业数据体系建设 负责企业级数据架构设计，制定数据标准与规范，支撑业务决策与智能化应用。 搭建数据采集与处理流程，整合多源数据（内部系统、外部API、公开数据库等），确保数据质量与一致性。 2、外部数据获取与处理 通过API接口或第三方数据服务，获取高质量外部数据（如行业趋势、市场动态、竞品信息）。 设计数据清洗规则与自动化脚本，处理缺失值、异常值及格式标准化，输出结构化数据资产。 3、数据建模与分析 基于业务场景（如用户画像、风险预测、供应链优化）构建统计模型或机器学习模型（如分类、回归、聚类）。 开发可复用的数据分析工具链，支持实时/离线分析，输出可视化报告或API接口供业务调用。