字节跳动数据开发工程师-Growth-营销中台-上海
任职要求
1、熟悉Linux操作系统及开发环境; 2、扎实的计算机软件基础知识:数据结构,操作系统等; 3、熟悉 C/C++、Java、Python 等任意一门编程语言; 4、对数据敏感,认真细致,善于从数据中发现疑点。 具备以下条件者优先: 1、研究过开源项目; 2、参加过 ACM 或者其他类型的软件开发大赛; 3、熟悉大数据处理工具/框架中的一项或多项,包括但不限于Hadoop, Mapreduce, Hive, Storm, Spark, Druid, kafka, hbase,ES等。
工作职责
1、负责字节跳动所有产品线UG方向的数据流和相关数据服务; 2、面向超大规模数据问题,每天处理千亿增量的用户数据; 3、负责流式数据的实时传递,清洗,转换,计算,并对外提供查询服务; 4、参与数据治理工作,提升数据易用性及数据质量; 5、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。
团队介绍:字节跳动用户增长(User Growth)负责抖音、今日头条、番茄小说、剪映等多个产品的用户增长业务,建立行业领先的增长和营销技术,打造极致的用户体验。加入我们,有机会参与亿级用户场景的开发与架构工作,也有机会从数据出发,利用策略和模型为业务带来更大的助力。 课题背景: 在用户增长、激励广告和广告投放的商业场景,精准的决策至关重要。随着业务的发展,传统先预测再决策决策的方式难以适应复杂多变的环境。基于RL的在线因果推断及决策技术应运而生。在这些场景中,需要深入理解不同操作与结果之间的因果关系,从而做出最优决策。例如在用户增长中,要明确何种激励措施能最大程度推动增长;在广告投放中,要知道怎样的投放策略能带来最佳效果。然而,目前在在线场景下,因果预测模型的效果提升面临瓶颈,同时激励探索成本和决策收益的平衡也难以把握,提升基于因果推断的决策能力是推动增长的重要手段。 课题挑战: 1. 平均处理效应ATE较小。线上平均处理效应(ATE)小意味着在实际线上环境中,因果关系的影响幅度微弱。这使得准确捕捉因果关系变得极为困难,模型难以从这种微弱的关系中学习到有效的因果模式,对基于RL的因果推断技术的敏感度和精度要求极高。 2. 预测指标周期长,收益难以归因到一次激励决策。这导致在评估因果关系时,很难确定是哪一次激励决策产生了何种影响。长周期使得数据的关联性变得模糊,干扰了因果推断模型的构建,也不利于RL算法根据准确的因果关系进行决策优化。 3. 线上观测数据波动大。线上观测数据波动较大,增加了数据的不确定性。这种波动可能掩盖真实的因果关系,使因果推断模型难以稳定地学习到有效的模式。同时,波动的观测数据也会影响运筹决策,导致决策的准确性和可靠性下降。 1、负责开发新一代的大规模因果模型,通过算法和工程优化,实现训练数据及干预决策在数量级上的提升;联合多场景的因果模型,松弛单场景约束,获取更优的决策和业务收益; 2、负责开发新一代的大规模运筹优化算法,与算法工程同学深度合作,提供灵活、鲁棒且高效的分布式运筹规划系统; 3、引入前沿的因果建模和强化学习技术,探索基于强化学习的世界模型仿真和一体化的因果决策算法,在探索和利用上获得更优的平衡,达成更好的成本效率。
团队介绍:字节跳动用户增长(User Growth)负责抖音、今日头条、番茄小说、剪映等多个产品的用户增长业务,建立行业领先的增长和营销技术,打造极致的用户体验。加入我们,有机会参与亿级用户场景的开发与架构工作,也有机会从数据出发,利用策略和模型为业务带来更大的助力。 课题背景: 在用户增长、激励广告和广告投放的商业场景,精准的决策至关重要。随着业务的发展,传统先预测再决策决策的方式难以适应复杂多变的环境。基于RL的在线因果推断及决策技术应运而生。在这些场景中,需要深入理解不同操作与结果之间的因果关系,从而做出最优决策。例如在用户增长中,要明确何种激励措施能最大程度推动增长;在广告投放中,要知道怎样的投放策略能带来最佳效果。然而,目前在在线场景下,因果预测模型的效果提升面临瓶颈,同时激励探索成本和决策收益的平衡也难以把握,提升基于因果推断的决策能力是推动增长的重要手段。 课题挑战: 1. 平均处理效应ATE较小。线上平均处理效应(ATE)小意味着在实际线上环境中,因果关系的影响幅度微弱。这使得准确捕捉因果关系变得极为困难,模型难以从这种微弱的关系中学习到有效的因果模式,对基于RL的因果推断技术的敏感度和精度要求极高。 2. 预测指标周期长,收益难以归因到一次激励决策。这导致在评估因果关系时,很难确定是哪一次激励决策产生了何种影响。长周期使得数据的关联性变得模糊,干扰了因果推断模型的构建,也不利于RL算法根据准确的因果关系进行决策优化。 3. 线上观测数据波动大。线上观测数据波动较大,增加了数据的不确定性。这种波动可能掩盖真实的因果关系,使因果推断模型难以稳定地学习到有效的模式。同时,波动的观测数据也会影响运筹决策,导致决策的准确性和可靠性下降。 1、负责开发新一代的大规模因果模型,通过算法和工程优化,实现训练数据及干预决策在数量级上的提升;联合多场景的因果模型,松弛单场景约束,获取更优的决策和业务收益; 2、负责开发新一代的大规模运筹优化算法,与算法工程同学深度合作,提供灵活、鲁棒且高效的分布式运筹规划系统; 3、引入前沿的因果建模和强化学习技术,探索基于强化学习的世界模型仿真和一体化的因果决策算法,在探索和利用上获得更优的平衡,达成更好的成本效率。
团队介绍:字节跳动用户增长(User Growth)负责抖音、今日头条、番茄小说、剪映等多个产品的用户增长业务,建立行业领先的增长和营销技术,打造极致的用户体验。加入我们,有机会参与亿级用户场景的开发与架构工作,也有机会从数据出发,利用策略和模型为业务带来更大的助力。 课题背景: 在用户增长、激励广告和广告投放的商业场景,精准的决策至关重要。随着业务的发展,传统先预测再决策的方式难以适应复杂多变的环境。基于RL的在线因果推断及决策技术应运而生。在这些场景中,需要深入理解不同操作与结果之间的因果关系,从而做出最优决策。例如在用户增长中,要明确何种激励措施能最大程度推动增长;在广告投放中,要知道怎样的投放策略能带来最佳效果。然而,目前在在线场景下,因果预测模型的效果提升面临瓶颈,同时激励探索成本和决策收益的平衡也难以把握,提升基于因果推断的决策能力是推动增长的重要手段。 课题挑战: 1. 平均处理效应ATE较小。线上平均处理效应(ATE)小意味着在实际线上环境中,因果关系的影响幅度微弱。这使得准确捕捉因果关系变得极为困难,模型难以从这种微弱的关系中学习到有效的因果模式,对基于RL的因果推断技术的敏感度和精度要求极高。 2. 预测指标周期长,收益难以归因到一次激励决策。这导致在评估因果关系时,很难确定是哪一次激励决策产生了何种影响。长周期使得数据的关联性变得模糊,干扰了因果推断模型的构建,也不利于RL算法根据准确的因果关系进行决策优化。 3. 线上观测数据波动大。线上观测数据波动较大,增加了数据的不确定性。这种波动可能掩盖真实的因果关系,使因果推断模型难以稳定地学习到有效的模式。同时,波动的观测数据也会影响运筹决策,导致决策的准确性和可靠性下降。 1、负责开发新一代的大规模因果模型,通过算法和工程优化,实现训练数据及干预决策在数量级上的提升;联合多场景的因果模型,松弛单场景约束,获取更优的决策和业务收益; 2、负责开发新一代的大规模运筹优化算法,与算法工程同学深度合作,提供灵活、鲁棒且高效的分布式运筹规划系统; 3、引入前沿的因果建模和强化学习技术,探索基于强化学习的世界模型仿真和一体化的因果决策算法,在探索和利用上获得更优的平衡,达成更好的成本效率。
1,负责电商数据仓库的ETL流程设计、开发与优化,尤其关注招商、营销活动(含大促)等核心业务场景的数据集成,确保数据的准确性、实时性和为业务决策和AI应用提供高质量数据基础。 2,主导电商领域的数据建模工作,构建满足用户画像、商品分析、营销效果评估等业务需求的多维数据模型,支持精细化运营、个性化推荐和智能决策。 3,与电商业务、招商、营销业务和数据科学等组紧密合作,深入理解业务痛点和增长目标,提供创新的数据解决方案,优化数据处理流程,提升数据赋能业务的能力。 4,参与大数据平台的优化和扩展,探索并应用AI技术(如机器学习、自然语言处理等)提升数据处理效率、数据质量和数据洞察能力,例如智能数据清洗、异常检测、特征工程自动化等。 5,编写高质量的代码和技术文档,确保代码的可维护性、可扩展性和可理解性,并积极参与技术分享和知识沉淀。 1,Responsible for the design, development, and optimization of ETL processes for the e-commerce data warehouse, with a focus on core business scenarios such as merchant acquisition, marketing campaigns (including major promotions), ensuring accurate, real-time, and efficient data transmission, and providing high-quality data foundation for business decisions and AI applications. 2,Lead data modeling efforts in the e-commerce domain, building multi-dimensional data models that meet the business needs of user profiling, product analysis, marketing performance evaluation, etc., supporting refined operations, personalized recommendations, and intelligent decision-making. 3,Collaborate closely with e-commerce business, merchant acquisition, marketing, and other teams to deeply understand business pain points and growth objectives, provide innovative data solutions, optimize data processing workflows, and enhance the ability of data to empower business. 4,Participate in the optimization and expansion of big data platforms, explore and apply AI technologies (such as machine learning, natural language processing, etc.) to improve data processing efficiency, data quality, and data insight capabilities, such as intelligent data cleaning, anomaly detection, and automated feature engineering. 5,Produce high-quality code and technical documentation to ensure code maintainability, scalability, and understandability, and actively participate in technical sharing and knowledge accumulation.