通义通义实验室-技术专家-大模型数据
任职要求
1、计算机/人工智能及相关专业硕士及以上学历，优异者条件可适当放宽； 2、具备3年以上数据处理或模型训练工作经验，熟练掌握文本、多模态等非结构化数据处理方法，精通数据清洗、特征提取和数据增强等技术，能够解决数据工作中各种问题； 3、精通Python、Java等至少一种编程语言，熟悉常用的数据处理、文本处理和图像处理库，能够高效地实现数据清洗和处理的算法和流程； 4、具备丰富的数据湖开…
工作职责
1、负责AI平台大数据架构演进以及推进落地：根据不同领域场景大模型落地需求，与算法团队和IT基础设施团队紧密合作，提出大模型训练和优化数据规模、数据类型、数据结构等建议，确保架构有效实施； 2、负责搭建大模型数据平台：支撑大模型数据的存储、预处理（去重、相似度计算、脱敏等）诉求，针对大模型场景、数据类型、数据规模具有高扩展性，以支持大模型数据集持续迭代，实现高质量数据集沉淀，确保数据安全和隐私保护； 3、与算法团队紧密协作，抽象研发诉求，落地为便捷实用的的平台能力，提升整个团队的工作效率和数据处理能力。
1、负责AI平台大数据架构演进以及推进落地：根据不同领域场景大模型落地需求，与算法团队和IT基础设施团队紧密合作，提出大模型训练和优化数据规模、数据类型、数据结构等建议，确保架构有效实施； 2、负责搭建大模型数据平台：支撑大模型数据的存储、预处理（去重、相似度计算、脱敏等）诉求，针对大模型场景、数据类型、数据规模具有高扩展性，以支持大模型数据集持续迭代，实现高质量数据集沉淀，确保数据安全和隐私保护； 3、与算法团队紧密协作，抽象研发诉求，落地为便捷实用的的平台能力，提升整个团队的工作效率和数据处理能力。
● 参与/负责大数据业务的工程研发工作，包括算法工程化、数据加工、服务开发、SaaS 平台建设、解决方案交付等； ● 深度参与技术方案设计和迭代，包括架构升级、性能优化、代码重构、监控体系建设等；
1、参与大模型数据处理工程平台建设，涉及数据相关的网页解析、加工、打标、过滤、去重、质量提升等服务的系统架构设计和开发工作，推动业务和技术的融合落地，建设非结构化数据处理工程平台能力； 2、参与网页抽取、文本、图文、视频等非结构化数据的结构化、标准化、分析挖掘、提升数据质量等能力建设，沉淀数据资产，提效工具等产品，支撑蚂蚁智能技术和生态业务发展； 3、保障技术系统稳定可靠，熟练运用合适技术对复杂场景做出合理技术设计，深入分析解决系统疑难问题； 4、对数据处理相关领域产品有一定了解，能够对负责领域做未来判断和规划。
1. 负责业界/学界SOTA方案调研和原型验证； 2. 结合公司业务规划，探索大模型在数据生成、数据挖掘、数据质量、真值构建、隐私保护等方面的技术方案，解决业务中的痛点、难点问题； 3. 评估不同技术方案的研发成本、收益，给出方案选型建议； 4. 方案落地过程中进行风险把控和方向纠偏； 5. 指导一线工程师解决新方案落地过程中的卡点。