字节跳动机器学习系统调度研发工程师-Data AML
任职要求
1、熟练掌握Linux环境下的Go/Python/Shell等1至2种以上语言； 2、熟悉Kubernetes架构和生态，熟悉Docker/Containerd/Kata/Podman等容器技术，有丰富的机器学习系统实践和开发经验； 3、掌握分布式系统原理，参与过大规模分布式系统的设计、开发和维护； 4、有优秀的逻辑分析能力，能够对业务逻辑进行合理的抽象和拆分； 5、有强烈的工作责任心，较好的学习能力、沟通能力和自驱力，能够快速的响应和行动。 加分项： 1、熟悉至少一种主流的机器学习框架（TensorFlow/PyTorch）； 2、有以下某一方向领域的经验：AI Infrastructure，HW/SW Co-Design，High Performance Computing，ML Hardware Architecture（GPU、Accelerators、Networking）。
工作职责
团队介绍：Data AML是字节跳动公司的机器学习中台，为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力，并在这些业务的问题上研究一些具有通用性和创新性的算法。同时，也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。此外，AML还在AI for Science，科学计算等领域做一些前沿研究。 1、负责机器学习系统资源调度的设计和开发，服务于各方向场景（NLP/CV/Speech等）的模型训练、模型评估和模型推理； 2、负责多种异构资源（GPU、CPU、其他异构硬件）的最优化编排，实现稳定资源、潮汐资源、混布资源、多云资源的合理化使用； 3、负责通过技术手段实现计算资源、RDMA高速网络资源、存储资源的最优调度，充分发挥大规模分布式集群的计算能力； 4、负责多机房、多地域、多云场景的在离线任务/服务调度，实现负载合理化分布。
团队介绍：Data AML是字节跳动的机器学习中台，为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力，并在这些业务的问题上研究一些具有通用性和创新性的算法。同时，也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。 1、参与国内万卡级别机器学习平台基础功能研发，参与调度、存储、网络模块的迭代升级，攻克各种高并发、数据隔离、系统解耦等方面的技术难关； 2、参与开发易用、弹性、稳定的算力云产品开发。
团队介绍：Data AML是字节跳动公司的机器学习中台，为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力，并在这些业务的问题上研究一些具有通用性和创新性的算法。同时，也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。此外，AML还在AI for Science，科学计算等领域做一些前沿研究。 课题介绍：大规模推荐系统正在越来越多的应用到短视频、文本社区、图像等产品上，模态信息在推荐系统中的作用也越来越大。 字节实践中发现模态信息能够很好的作为泛化特征支持推荐等业务场景，端到端的超大规模多模态推荐系统的研究具有非常大的想象空间。 期望在算法和工程CoDesign基础上，对多模态Cotrain、7B/13B大规模参数模型、更长序列端到端等方向进一步进行探索。 工程上研究方向包括多模态样本的表征、基于 pytorch 框架的高性能多模态推理引擎、高性能多模态训练框架的构建、异构硬件在多模态推荐系统上的应用；算法上的研究方向包括设计合理的推荐广告和多模态Cotrain结构、Sparse MOE、Memory Network、混合精度等。 1、负责公司机器学习系统架构的设计开发，以及系统性能调优； 2、负责解决系统高并发、高可靠性、高可扩展性等技术难关； 3、覆盖机器学习系统多个子方向领域的工作，包括：资源调度、任务编排、模型训练、模型推理、模型管理、数据集管理、工作流编排、ML for System等； 4、负责机器学习系统前瞻技术的调研和引入，比如：最新硬件架构、异构计算系统、GPU优化技术的引入落地； 5、研究基于机器学习方法，实现对集群/服务资源使用情况的分析和优化。
团队介绍：Data AML是字节跳动公司的机器学习中台，为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力，并在这些业务的问题上研究一些具有通用性和创新性的算法。同时，也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。此外，AML还在AI for Science，科学计算等领域做一些前沿研究。 课题介绍：大规模推荐系统正在越来越多的应用到短视频、文本社区、图像等产品上，模态信息在推荐系统中的作用也越来越大。 字节实践中发现模态信息能够很好的作为泛化特征支持推荐等业务场景，端到端的超大规模多模态推荐系统的研究具有非常大的想象空间。 期望在算法和工程CoDesign基础上，对多模态Cotrain、7B/13B大规模参数模型、更长序列端到端等方向进一步进行探索。 工程上研究方向包括多模态样本的表征、基于 pytorch 框架的高性能多模态推理引擎、高性能多模态训练框架的构建、异构硬件在多模态推荐系统上的应用；算法上的研究方向包括设计合理的推荐广告和多模态Cotrain结构、Sparse MOE、Memory Network、混合精度等。 1、负责公司机器学习系统架构的设计开发，以及系统性能调优； 2、负责解决系统高并发、高可靠性、高可扩展性等技术难关； 3、覆盖机器学习系统多个子方向领域的工作，包括：资源调度、任务编排、模型训练、模型推理、模型管理、数据集管理、工作流编排、ML for System等； 4、负责机器学习系统前瞻技术的调研和引入，比如：最新硬件架构、异构计算系统、GPU优化技术的引入落地； 5、研究基于机器学习方法，实现对集群/服务资源使用情况的分析和优化。
团队介绍：Data AML是字节跳动公司的机器学习中台，为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力，并在这些业务的问题上研究一些具有通用性和创新性的算法。同时，也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。此外，AML还在AI for Science，科学计算等领域做一些前沿研究。 课题介绍：大规模推荐系统正在越来越多的应用到短视频、文本社区、图像等产品上，模态信息在推荐系统中的作用也越来越大。 字节实践中发现模态信息能够很好的作为泛化特征支持推荐等业务场景，端到端的超大规模多模态推荐系统的研究具有非常大的想象空间。 期望在算法和工程CoDesign基础上，对多模态Cotrain、7B/13B大规模参数模型、更长序列端到端等方向进一步进行探索。 工程上研究方向包括多模态样本的表征、基于 pytorch 框架的高性能多模态推理引擎、高性能多模态训练框架的构建、异构硬件在多模态推荐系统上的应用；算法上的研究方向包括设计合理的推荐广告和多模态Cotrain结构、Sparse MOE、Memory Network、混合精度等。 1、负责公司机器学习系统架构的设计开发，以及系统性能调优； 2、负责解决系统高并发、高可靠性、高可扩展性等技术难关； 3、覆盖机器学习系统多个子方向领域的工作，包括：资源调度、任务编排、模型训练、模型推理、模型管理、数据集管理、工作流编排、ML for System等； 4、负责机器学习系统前瞻技术的调研和引入，比如：最新硬件架构、异构计算系统、GPU优化技术的引入落地； 5、研究基于机器学习方法，实现对集群/服务资源使用情况的分析和优化。