字节跳动推荐架构工程师-Enterprise 大数据方向
任职要求
1、熟练掌握 Spark、Flink、Kafka 等大数据批流应用开发,熟悉原理与性能调优; 2、熟练掌握 Java、Scala、Python 等编程语言,具备扎实的计算机基础和强悍的编码、系统设计及解决问题的能力; 3、熟悉 Yarn、K8s、HD…
工作职责
字节跳动推荐架构团队企业服务方向,负责字节跳动旗下国内和海外的推荐系统 toB 产品架构设计、开发与演进,打造敏捷高效的推荐数据架构能力。 1、负责火山引擎智能推荐平台和海外推荐产品的数据架构持续演进; 2、建设领先的索引、特征和样本生产回溯与存储方案,支持算法高效迭代; 3、建设灵活稳固合规的大数据底座,满足云化、私有化、全球化的严苛挑战; 4、建设体系化的流程与工具,优化系统成本提升整体的稳定性与效率。
Team Introduction: Data AML is ByteDance's machine learning middle platform, providing training and inference systems for recommendation, advertising, CV (computer vision), speech, and NLP (natural language processing) across businesses such as Douyin, Toutiao, and Xigua Video. AML provides powerful machine learning computing capabilities to internal business units and conducts research on general and innovative algorithms to solve key business challenges. Additionally, through Volcano Engine, it delivers core machine learning and recommendation system capabilities to external enterprise clients. Beyond business applications, AML is also engaged in cutting-edge research in areas such as AI for Science and scientific computing. Research Project Introduction: Large-scale recommendation systems are being increasingly applied to short video, text community, image and other products, and the role of modal information in recommendation systems has become more prominent. ByteDance's practice has found that modal information can serve as a generalization feature to support business scenarios such as recommendation, and the research on end-to-end ultra-large-scale multimodal recommendation systems has enormous potential. It is expected to further explore directions such as multimodal cotraining, 7B/13B large-scale parameter models, and longer sequence end-to-end based on algorithm-engineering CoDesign. Engineering research directions include: Representation of multimodal samples Construction of high-performance multimodal inference engines based on the PyTorch framework Development of high-performance multimodal training frameworks Application of heterogeneous hardware in multimodal recommendation systems 1. Algorithmic research directions include: 2. Design of reasonable recommendation-advertising and multimodal cotraining architectures 3. Sparse Mixture of Experts (Sparse MOE) 4. Memory Network 5. Hybrid precision techniques 团队介绍: Data AML是字节跳动公司的机器学习中台,为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力,并在这些业务的问题上研究一些具有通用性和创新性的算法。同时,也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。此外,AML还在AI for Science,科学计算等领域做一些前沿研究。 课题介绍: 大规模推荐系统正在越来越多的应用到短视频、文本社区、图像等产品上,模态信息在推荐系统中的作用也越来越大。 字节实践中发现模态信息能够很好的作为泛化特征支持推荐等业务场景,端到端的超大规模多模态推荐系统的研究具有非常大的想象空间。 期望在算法和工程CoDesign基础上,对多模态Cotrain、7B/13B大规模参数模型、更长序列端到端等方向进一步进行探索。 工程上研究方向包括多模态样本的表征、基于 pytorch 框架的高性能多模态推理引擎、高性能多模态训练框架的构建、异构硬件在多模态推荐系统上的应用;算法上的研究方向包括设计合理的推荐广告和多模态Cotrain结构、Sparse MOE、Memory Network、混合精度等。 1、负责机器学习系统架构的设计开发,以及系统性能调优; 2、负责解决系统高并发、高可靠性、高可扩展性等技术难关; 3、覆盖机器学习系统多个子方向领域的工作,包括:资源调度、任务编排、模型训练、模型推理、模型管理、数据集管理、工作流编排、ML for System等; 4、负责机器学习系统前瞻技术的调研和引入,比如:最新硬件架构、异构计算系统、GPU优化技术的引入落地; 5、研究基于机器学习方法,实现对集群/服务资源使用情况的分析和优化。
团队介绍:字节跳动推荐架构团队,负责字节跳动旗下相关产品的推荐系统架构的设计和开发,保障系统稳定和高可用;负责在线服务、离线数据流性能优化,解决系统瓶颈,降低成本开销;抽象系统通用组件和服务,建设推荐中台、数据中台,支撑新产品快速孵化以及为ToB赋能。 1、负责字节跳动旗下相关产品的推荐架构工作,解决推荐核心系统的架构优化问题; 2、针对推荐场景的架构抽象和流程优化,支持大规模的机器学习的优化,支持推荐平台的研发; 3、针对高并发高吞吐的大规模系统,提升系统的稳定性、性能、可扩展性; 4、核心组件的研发和优化、新技术的应用和落地。
1、负责字节跳动旗下相关产品的推荐架构工作,解决推荐核心系统的架构优化问题; 2、针对推荐场景的架构抽象和流程优化,支持大规模的机器学习的优化,支持推荐平台的研发; 3、针对高并发高吞吐的大规模系统,提升系统的稳定性、性能、可扩展性; 4、核心组件的研发和优化、新技术的应用和落地。