米哈游AI数据湖研发工程师
任职要求
1)本科及以上学历,计算机科学、软件工程相关专业; 2)精通 Java 和 Python,具备3年以上相关开发经验; 3)深入理解 Spark、Ray 分布式计算框架,了解其在 ML 场景下的应用; 4)掌握 Iceberg / La…
工作职责
1)设计并实现基于Apache Iceberg的企业级AI数据湖架构; 2)开发数据湖的核心功能模块,包括元数据管理及优化、多模态检索、全文检索、查询加速等; 3)设计并开发数据湖SDK,提供统一的数据访问接口;
-参与AI数据处理产品和引擎的研发与优化 -构建高可靠、高性能的分布式数据处理系统,支持EB级数据计算 -设计并优化数据库仓库及数据湖架构,实现流批一体、CPU/GPU混合负载计算性能的优化 -探索大数据与AI的创新结合与应用
1. 参与构建淘天全域营销知识AI基础设施,负责将海量、多源的营销业务知识(如商品信息、权益规则、活动策略、用户行为等)进行结构化、体系化的组织与沉淀; 2. 设计并开发高效、鲁棒的知识处理工作流,包括但不限于:多模态(文本、图像、结构化数据)营销数据的清洗、融合、加工与向量化,为上层AI应用提供高质量的“燃料”; 3. 探索并实践知识检索增强(RAG)架构,参与设计面向营销场景的语义检索、混合检索方案,提升AI模型在复杂营销问答、策略生成等任务中的准确性与可解释性; 4. 参与营销领域本体(Ontology)的构建与迭代,将业务专家的经验和逻辑转化为机器可理解的知识图谱,推动营销知识的标准化和智能化应用; 5. 紧密协同算法、产品及业务团队,深入理解营销业务痛点,将业务需求转化为可落地的数据与AI解决方案。
1,负责电商数据仓库的ETL流程设计、开发与优化,尤其关注招商、营销活动(含大促)等核心业务场景的数据集成,确保数据的准确性、实时性和为业务决策和AI应用提供高质量数据基础。 2,主导电商领域的数据建模工作,构建满足用户画像、商品分析、营销效果评估等业务需求的多维数据模型,支持精细化运营、个性化推荐和智能决策。 3,与电商业务、招商、营销业务和数据科学等组紧密合作,深入理解业务痛点和增长目标,提供创新的数据解决方案,优化数据处理流程,提升数据赋能业务的能力。 4,参与大数据平台的优化和扩展,探索并应用AI技术(如机器学习、自然语言处理等)提升数据处理效率、数据质量和数据洞察能力,例如智能数据清洗、异常检测、特征工程自动化等。 5,编写高质量的代码和技术文档,确保代码的可维护性、可扩展性和可理解性,并积极参与技术分享和知识沉淀。 1,Responsible for the design, development, and optimization of ETL processes for the e-commerce data warehouse, with a focus on core business scenarios such as merchant acquisition, marketing campaigns (including major promotions), ensuring accurate, real-time, and efficient data transmission, and providing high-quality data foundation for business decisions and AI applications. 2,Lead data modeling efforts in the e-commerce domain, building multi-dimensional data models that meet the business needs of user profiling, product analysis, marketing performance evaluation, etc., supporting refined operations, personalized recommendations, and intelligent decision-making. 3,Collaborate closely with e-commerce business, merchant acquisition, marketing, and other teams to deeply understand business pain points and growth objectives, provide innovative data solutions, optimize data processing workflows, and enhance the ability of data to empower business. 4,Participate in the optimization and expansion of big data platforms, explore and apply AI technologies (such as machine learning, natural language processing, etc.) to improve data processing efficiency, data quality, and data insight capabilities, such as intelligent data cleaning, anomaly detection, and automated feature engineering. 5,Produce high-quality code and technical documentation to ensure code maintainability, scalability, and understandability, and actively participate in technical sharing and knowledge accumulation.