快手推荐架构工程师【数据和存储方向】-算法引擎部

Team Introduction: The ByteDance Recommendation Architecture Team is responsible for the design and development of the recommendation system architecture for ByteDance's related products. It ensures the stability and high availability of the system, optimizes the performance of online services and offline data streams, resolves system bottlenecks, and reduces cost overheads. The team also abstracts the common components and services of the system, builds the recommendation middle - office and data middle - office to support the rapid incubation of new products and enable ToB services. 团队介绍： 字节跳动推荐架构团队，负责字节跳动旗下相关产品的推荐系统架构的设计和开发，保障系统稳定和高可用；负责在线服务、离线数据流性能优化，解决系统瓶颈，降低成本开销；抽象系统通用组件和服务，建设推荐中台、数据中台，支撑新产品快速孵化以及为ToB赋能。 课题背景： 在当今数字化时代，推荐系统已成为众多领域（如电商、信息资讯等）实现个性化服务、提升用户体验和竞争力的关键技术。然而，随着技术的不断发展和业务场景的日益复杂，推荐系统面临着诸多严峻挑战。 一方面，推荐系统自身的复杂性急剧增加。大量推荐策略不断演进迭代，且系统状态动态变化，但缺乏有效手段自动跟踪评估策略有效性并下线低 ROI 策略，导致系统存在较多低效策略。同时，推荐系统依赖多种基础组件，其复杂负载模型给底层组件参数配置和性能调优带来巨大困难，日常开发迭代中的问题排查等工作消耗大量人力，亟需提升开发效率、降低人力成本。 另一方面，随着电商行业等领域的激烈竞争，传统推荐系统在多样性、创新性和个性化方面的短板愈发凸显，难以满足用户日益增长的多元需求。生成式人工智能技术虽带来新突破，但在实际应用中面临成本效率、全域数据协同、数据隐私与安全以及技术变革应对等诸多难题。 此外，随着大模型的快速发展，推荐系统对用户行为序列数据的存储和质量要求不断提高，数据质量对模型性能的影响愈发关键。同时，模型规模的扩大和多模态数据的涌现，使得推荐系统在数据处理环节面临冗长、资源利用不合理以及传统数据处理框架难以满足多模态数据处理需求等问题。 课题挑战: 策略管理与优化：构建一套智能化系统，实现推荐策略的规范化定义、长期及离线评估、无效策略自动识别与下线，以及相关代码配置的下线。 自适应调优与故障诊断：针对推荐系统多样化业务负载，利用大模型能力完成系统及底层组件的参数和配置调优，并探索自适应故障诊断方案，提供全局视角的故障追踪、定位和分析能力。 成本与效率平衡：在推荐系统应用生成式技术时，解决模型训练和运行的高成本问题，平衡成本与效率，在有限资源下实现高效推荐。 全域数据处理：应对电商等横向全域场景下海量异构数据，提升和保障数据质量与准确性，标准化供给数据给全域推荐模型，并实现低成本跨端服务，同时，确保数据隐私与安全，合规使用数据。 数据存储与质量提升：研发低成本高性能存储引擎，设计灵活的Schema Evolution机制，实现数据高并发实时写入与训推一致性，深入探究数据质量与模型预测性能的量化关系，构建基于DCAI理念的数据和模型相关性分析工具及训练数据自动化处理链路。 多模态数据与异构计算：构建适用于推荐系统的多模态数据异构计算处理框架，解决数据读取、框架整合、高性能算子编排等问题，提高数据处理和模型训练效率，建立以Python为核心的开发者生态。 推荐大算力模型效率优化：随着大模型在CV/NLP/多模态以至于AGI领域的不断突破，推荐场景下的大算力驱动能够帮助模型更全面深刻理解用户偏好，进而更好地理解用户需求，挖掘用户潜在兴趣，进而带来更好地用户体验。更大规模的推荐模型需要更大的算力，如何平衡好算力开销和效果收益，需要架构和算法工程师深度Co-Design。

字节跳动推荐架构团队企业服务方向，负责字节跳动旗下国内和海外的推荐系统 toB 产品架构设计、开发与演进，打造敏捷高效的推荐数据架构能力。 1、负责火山引擎智能推荐平台和海外推荐产品的数据架构持续演进； 2、建设领先的索引、特征和样本生产回溯与存储方案，支持算法高效迭代； 3、建设灵活稳固合规的大数据底座，满足云化、私有化、全球化的严苛挑战； 4、建设体系化的流程与工具，优化系统成本提升整体的稳定性与效率。

团队介绍：抖音推荐技术团队，负责抖音使用时长占比最高的推荐页的全栈优化，底层模型同时支持抖音其他重要业务场景。我们的工作涉及大规模推荐算法的优化、复杂约束的优化问题的解决、CV/NLP等多个学术领域的算法改进工作、对多种场景的推荐架构的设计和实现和对产品数据的复杂深入的分析工作。 随着推荐算法的逐渐演进，当前的推荐训练/推理框架已经不足以满足推荐模型算法迭代的需要，在这样的背景下，我们需要更多的模型算法与工程框架交叉的人才。 1、立足于最前沿的推荐算法，结合当前NLP/CV等领域的算法发展以及最新的硬件条件，对未来一年以上的推荐算法演进路径进行展望和设计； 2、基于未来算法的实际需要，对训练/推理框架、数据流、图引擎、用户行为序列存储等算法模块进行调整和优化，使其可以满足未来算法迭代的需要； 3、结合算法和工程的优势，在当前最前沿的推荐算法基础上寻求突破，提升抖音推荐页下的用户体验。

团队介绍：抖音推荐技术团队，负责抖音使用时长占比最高的推荐页的全栈优化，底层模型同时支持抖音其他重要业务场景。我们的工作涉及大规模推荐算法的优化、复杂约束的优化问题的解决、CV/NLP等多个学术领域的算法改进工作、对多种场景的推荐架构的设计和实现和对产品数据的复杂深入的分析工作。 随着推荐算法的逐渐演进，当前的推荐训练/推理框架已经不足以满足推荐模型算法迭代的需要，在这样的背景下，我们需要更多的模型算法与工程框架交叉的人才。 1、立足于最前沿的推荐算法，结合当前NLP/CV等领域的算法发展以及最新的硬件条件，对未来一年以上的推荐算法演进路径进行展望和设计； 2、基于未来算法的实际需要，对训练/推理框架、数据流、图引擎、用户行为序列存储等算法模块进行调整和优化，使其可以满足未来算法迭代的需要； 3、结合算法和工程的优势，在当前前沿的推荐算法基础上寻求突破，提升抖音推荐页下的用户体验。