夸克智能信息-离线数据系统研发工程师-杭州
任职要求
1. 编程基本功扎实、熟悉常用数据结构和算法,有大规模、分布式数据处理的经验 2. 熟悉网页、文档、图片及音视频处理…
工作职责
1. 参与互联网网页、文档、图片、音视频等境内外内容数据的发现、采集及处理 2. 优化爬虫架构及平台能力,优化js渲染性能和效果,提升反爬对抗能力 3. 优化数据处理系统,完善数据标注等平台能力 4. 负责大模型训练语料、RAG索引等重要数据的交付
阿里巴巴智能信息事业群,聚焦AI在信息服务赛道的创新应用,从工具到服务,持续为用户提供高效、智能的AI应用。智能信息事业群核心产品为夸克、通义、UC浏览器、书旗小说、超级汇川等,以多产品矩阵,覆盖横跨各年龄段的7亿+用户人群,服务超10万+客户。 如果你想加入到业界最先进的文本及多模态大模型的训练和Agent应用相关的项目中; 如果你想参与内容数据的采集、存储及处理,支持大模型训练语料及AI搜索业务数据供给; 如果你想接触世界领先的大数据处理与应用的技术和平台,获得大数据浪潮之巅的各类大牛的指导; 那就加入我们吧!
1、深度参与安全/体服方向的业务作业系统构建,负责从架构设计到功能开发的全流程工作,确保系统具备高稳定性、高性能与高安全性,满足业务快速发展的需求;在在线/近线/离线数据处理系统开发中,运用前沿技术实现数据的高效采集、清洗、存储与分析,为业务决策提供有力支持;参与图&文检索与召回系统的搭建与优化,提升检索精度和召回率,保障用户能够快速获取所需信息; 2、主导RAG/Agent应用构建系统的研发工作,探索AI技术在实际业务中的创新应用,将大模型能力融入应用,实现智能化交互与服务,推动业务模式的创新发展;在AI应用落地过程中,负责技术选型、算法优化与工程实现,攻克技术难题,确保AI应用能够稳定、高效地服务于业务场景; 3、面对异构大数据处理的复杂挑战,运用先进的数据处理技术和工具,对多样化的数据进行整合、处理与分析,挖掘数据价值,为业务发展提供数据驱动的决策依据;持续优化异构大数据处理流程,提升数据处理效率和质量,降低系统成本,增强系统的可扩展性和兼容性。
1、深度参与抖音治理与体验方向的业务作业系统构建,负责从架构设计到功能开发的全流程工作,确保系统具备高稳定性、高性能与高安全性,满足业务快速发展的需求;在在线/近线/离线数据处理系统开发中,运用前沿技术实现数据的高效采集、清洗、存储与分析,为业务决策提供有力支持;参与图&文检索与召回系统的搭建与优化,提升检索精度和召回率,保障用户能够快速获取所需信息; 2、主导RAG/Agent应用构建系统的研发工作,探索AI技术在实际业务中的创新应用,将大模型能力融入应用,实现智能化交互与服务,推动业务模式的创新发展;在AI应用落地过程中,负责技术选型、算法优化与工程实现,攻克技术难题,确保AI应用能够稳定、高效地服务于业务场景; 3、面对异构大数据处理的复杂挑战,运用先进的数据处理技术和工具,对多样化的数据进行整合、处理与分析,挖掘数据价值,为业务发展提供数据驱动的决策依据;持续优化异构大数据处理流程,提升数据处理效率和质量,降低系统成本,增强系统的可扩展性和兼容性。