夸克离线数据系统研发工程师
任职要求
如果你有强的动手能力和学习能力，熟悉一门数据处理语言，如JAVA、Python、C++，熟悉unix或者linux操作； 如果你具备扎实的专业基础，良好的沟通能力和团队合作，主动积极，乐于面对挑战； 如果你有参与过网页、文档、图片、音视频等各类内容数据的采集、处理、标注、可视化等相关项目更好； 如果你对Hadoop、Hbase、Flink、Kafka、Spark、Redis等分布式平台和中间件有一定的理解更好； 那么成为数据工程师吧，这里就是你的舞台。
工作职责
阿里巴巴智能信息事业群，聚焦AI在信息服务赛道的创新应用，从工具到服务，持续为用户提供高效、智能的AI应用。智能信息事业群核心产品为夸克、通义、UC浏览器、书旗小说、超级汇川等，以多产品矩阵，覆盖横跨各年龄段的7亿+用户人群，服务超10万+客户。 如果你想加入到业界最先进的文本及多模态大模型的训练和Agent应用相关的项目中； 如果你想参与内容数据的采集、存储及处理，支持大模型训练语料及AI搜索业务数据供给； 如果你想接触世界领先的大数据处理与应用的技术和平台，获得大数据浪潮之巅的各类大牛的指导； 那就加入我们吧！
1. 参与互联网网页、文档、图片、音视频等境内外内容数据的发现、采集及处理 2. 优化爬虫架构及平台能力，优化js渲染性能和效果，提升反爬对抗能力 3. 优化数据处理系统，完善数据标注等平台能力 4. 负责大模型训练语料、RAG索引等重要数据的交付
参与美团核心本地商业的统一搜索引擎建设，具体包含以下方面： 1. 支撑搜推核心业务的统一检索引擎建设，包含核心存储引擎建设（正倒排索引、向量化检索、KV存储等）、检索引 擎建设（SQL化的查询引擎）、索引构建系统、在线召回系统。 2. 负责流批一体的数据处理系统建设，支撑美团全业务线供给、数百数据源、百亿数据的接入处理、实时索引构建和更新。 3. 从离线数据处理、索引构建、在线召回的一站式平台研发，支持业务的一站式迭代、支持大规模存储服务的自动化运维、auto-resharding、弹性伸缩、离在线混布。
1、深度参与安全/体服方向的业务作业系统构建，负责从架构设计到功能开发的全流程工作，确保系统具备高稳定性、高性能与高安全性，满足业务快速发展的需求；在在线/近线/离线数据处理系统开发中，运用前沿技术实现数据的高效采集、清洗、存储与分析，为业务决策提供有力支持；参与图&文检索与召回系统的搭建与优化，提升检索精度和召回率，保障用户能够快速获取所需信息； 2、主导RAG/Agent应用构建系统的研发工作，探索AI技术在实际业务中的创新应用，将大模型能力融入应用，实现智能化交互与服务，推动业务模式的创新发展；在AI应用落地过程中，负责技术选型、算法优化与工程实现，攻克技术难题，确保AI应用能够稳定、高效地服务于业务场景； 3、面对异构大数据处理的复杂挑战，运用先进的数据处理技术和工具，对多样化的数据进行整合、处理与分析，挖掘数据价值，为业务发展提供数据驱动的决策依据；持续优化异构大数据处理流程，提升数据处理效率和质量，降低系统成本，增强系统的可扩展性和兼容性。
1、深度参与抖音治理与体验方向的业务作业系统构建，负责从架构设计到功能开发的全流程工作，确保系统具备高稳定性、高性能与高安全性，满足业务快速发展的需求；在在线/近线/离线数据处理系统开发中，运用前沿技术实现数据的高效采集、清洗、存储与分析，为业务决策提供有力支持；参与图&文检索与召回系统的搭建与优化，提升检索精度和召回率，保障用户能够快速获取所需信息； 2、主导RAG/Agent应用构建系统的研发工作，探索AI技术在实际业务中的创新应用，将大模型能力融入应用，实现智能化交互与服务，推动业务模式的创新发展；在AI应用落地过程中，负责技术选型、算法优化与工程实现，攻克技术难题，确保AI应用能够稳定、高效地服务于业务场景； 3、面对异构大数据处理的复杂挑战，运用先进的数据处理技术和工具，对多样化的数据进行整合、处理与分析，挖掘数据价值，为业务发展提供数据驱动的决策依据；持续优化异构大数据处理流程，提升数据处理效率和质量，降低系统成本，增强系统的可扩展性和兼容性。