快手【留用实习】大数据引擎研发工程师
任职要求
1、本科及以上学历，计算机相关专业；
2、熟悉主流的分布式计算引擎（至少一个），精读过源代码者尤佳，有开源系统二次开发经验或者所开发代码被开源社区接受者尤佳；
3、优秀的设计与编码能力，工程质量自我要求高，针对业务需求与问题，可快速设计与实现解决方案；
4、思维活跃，具备较强的问题分析与解决能力，强烈的责任心，对工作有激情，良好的沟通能力。工作职责
1、参与快手EB级大数据平台分布式计算引擎相关系统的研发与优化工作，解决实际业务需求与性能问题。子系统包括但不限于Hive、Spark，Presto、Flink、Druid、Clickhouse等； 2、接受大数据平台系统设计与实现复杂度的挑战，分析和发现系统的优化点，负责推动系统的合理性、可靠性、可用性的提升； 3、和开源社区保持交流，从社区引入对公司业务场景有帮助的特性与系统，或将内部研发的功能贡献到社区。
1、参与快手大规模深度学习推理引擎、大模型训练解决方案的研发与优化，包括大模型推理、模型训练框架、微调平台等； 2、参与底层算子的优化、通过优化访存pattern、计算提升推理性能，与算法部门合作，为公司大模型定制训练方案，探索RLHF、MoE、多模态、longcontext等前沿方向，提升训练性能； 3、优化推理框架上层调度策略，通过机内、机间的计算任务调度和通讯优化提升引擎性能；优化现有大语言模型相关工具和平台，提高模型训练、维护效率，降低成本，提升训练服务稳定性。
1、负责研发快手的机器学习平台，作为公司级的平台，支撑了包括推荐、广告、搜索等核心业务的算法迭代； 2、通过自研大数据引擎，构建特征工程领域的高性能计算存储框架和统一开发平台，支持算法团队的研发效率； 3、重点研究海量数据的存储与传输格式，分布式计算框架，算法DSL语言，TaskFlow 等技术，不断优化模型工程的系统效率。
1、负责依据不同业务场景的特点和新硬件特性，结合系统软硬件栈的整体调优，提出并实施性能优化方案； 2、负责持续跟踪业内软硬件相关领域的技术发展趋势，结合不同业务场景未来需求，开展方案预研以及推广应用工作。 具体包括以下两种场景或者两种之一： 1）AI计算相关场景，例如：大模型训练场景，AIGC、NLP、推荐等常规推理场景； 2）以容器云、大数据计算平台为例的通用计算平台场景。
1、负责依据不同业务场景的特点和新硬件特性，结合系统软硬件栈的整体调优，提出并实施性能优化方案； 2、负责持续跟踪业内软硬件相关领域的技术发展趋势，结合不同业务场景未来需求，开展方案预研以及推广应用工作； 具体包括以下三种场景或者三种之一： 1）以容器云、大数据计算平台为例的通用计算平台场景； 2）AI计算相关场景，例如：大模型训练场景，AIGC、NLP、推荐等常规推理场景； 3）结构化以及非结构化数据存储场景。