顺丰大数据平台研发工程师-Pass组
任职要求
1、本科及以上学历 2、3年以上工作经验，至少2年大数据相关领域研发经验（平台系统类研发，非数据应用类），掌握数据库、软件工程等相关理论 3、熟悉doris、starrocks引擎相关工作原理，2年以使用经验，能够进行二次功能开发优先 4、具备扎实的java研发基础，熟悉大数据相关组件，如hdfs、yarn、spark、hive、hbase等，并且深入了解其运行原理，具备二次开发能力和优秀的分析解决问题能力 5、对大数据垂直领域知识有自己的独特认识，具备产品主人翁精神
工作职责
负责大数据DataPaaS计算、存储组件相关开发，如：mpp引擎、spark native、统一资源调度，计算云原生混部，分布式计算、存储多机房融合等等
-研发大规模分布式计算系统，包括高吞吐的批量计算、高时效的流式计算、高效能的OLAP等 -为全百度提供高性能、高可用、低成本的大数据计算服务 -探索新架构、新技术、新硬件，设计面向大模型的数据处理引擎和服务 -深入理解业务系统，理解项目客户需求，设计和实现符合用户需求的大数据平台系统，确保项目顺利验收
-负责大数据管理开发平台的研究、设计和开发，包括数据采集、存储、开发、处理、作业调度等工作 -负责大数据管理开发平台的设计和优化，提高产品的实用性和用户体验 -持续优化平台的稳定性和性能，维护系统的稳定运行 -深入理解业务系统，理解项目客户需求，设计和实现符合用户需求的大数据平台系统，确保项目顺利验收
团队介绍：BABI平台是通过内部商业化/市场化的方式，以商品化为主要核心手段，围绕IT基础设施和人力成本提供一站式的平台支持，服务公司看清楚各业务部门从预算到成本到收入的经营过程，结合数据化、智能化的方式帮助业务线做好成本经营。 1、参与字节跳动技术团队及火山引擎业务等经营分析系统的大数据研发工作，包括但不限于BI可视化、OLAP分析、数据流调度、数据智能化服务等核心模块； 2、参与FinOps数据治理工作，持续提升数据易用性及数据质量，为经营分析提效赋能； 3、深入了解业务和系统痛点，给出优质的解决方案，并持续提升系统稳定性、可靠性、可扩展性，解决技术难题。
1. 负责AI平台大数据架构演进以及推进落地：根据不同领域场景大模型落地需求，与算法团队和IT基础设施团队紧密合作，提出大模型训练和优化数据规模、数据类型、数据结构等建议，确保架构有效实施。 2. 负责搭建大模型数据平台：支撑大模型数据的存储、预处理（去重、相似度计算、脱敏等）诉求，针对大模型场景、数据类型、数据规模具有高扩展性，以支持大模型数据集持续迭代，实现高质量数据集沉淀，确保数据安全和隐私保护。 3. 与算法团队紧密协作，抽象研发诉求，落地为便捷实用的的平台能力，提升整个团队的工作效率和数据处理能力。