网易AI标注主管

负责对基于大模型构建的通用垂类应用进行效果和质量评估；通过与产品研发团队的紧密合作，制定评估标准和体系，准确分析评估效果，为应用的优化和改进提供支持，以提升应用的性能、用户体验和市场竞争力； 应用效果与质量评估： 1）负责评估基于大语言模型构建的通用垂类应用的效果和质量，包括但不限于语言理解准确性、生成内容的合理性、逻辑连贯性、知识准确性等方面； 2）参与设计测试用例，涵盖不同场景、用户需求和输入条件，以确保应用在各种情况下的稳定性和可靠性； 3）参与收集和分析用户反馈数据，结合实际使用情况，对应用的性能和用户体验进行综合评估； 评估标准与体系建设： 1）理解业务需求和产品目标，与产品研发团队密切沟通和协作，负责制定详细、明确的评估标准和指标体系； 2）理解评估数据的收集、整理和分析流程，确保评估数据的完整性和可靠性，为评估体系的持续改进提供数据支持； 评估效果分析与报告：撰写评估报告，清晰阐述评估方法、过程、结果和结论，为产品研发团队提供决策依据和改进方向。

1、客户需求洞察及方案设计 • 大模型场景洞察：理解客户业务场景、整体技术架构，主动挖掘客户核心业务中的高价值的大模型应用场景，与客户共创业务和技术的关键问题与效果标准，理解行业内AI场景的价值。 • 方案设计：基于客户业务目标与技术约束，设计端到端MaaS解决方案，涵盖模型选型、工程链路（推理/微调/RAG/Agent）、效果评估体系及上线路径。 2、售前引导和支持与实操能力 • 结合客户的业务场景需求，通过标杆案例及demo演示展示阿里云大模型的竞争优势，建立在客户侧的技术影响力，影响客户的决策。向客户高层展示阿里云AI全栈产品的竞争优势，确保技术方案与客户业务目标深度绑定。 • 技术验证：动手搭建Prompt、RAG、多Agent工作流及微调实验，快速验证业务可行性，对POC结果的安全性、稳定性、性能、可持续性和运行效率给出技术建议。对客户业务与技术双线相关人员清晰阐述AI带来的效率提升、成本节约或收入增长，建立科学的AI效果评估共识。 3、技术策略制定和项目赢单 • 分析客户的业务和技术情况，将阿里云大模型产品技术与客户业务需求结合，帮助客户拓展AI应用新场景，推动技术采用。 • 针对重点项目/客户，面向客户高层介绍阿里云大模型产品和解决方案的优势，传递技术价值及其带来的业务收益，引领客户向AI转型，推动项目顺利签约。 • 在售前规划和方案实施过程中，识别并有效应对技术和项目风险，协同产研及交付团队正常履约，实现收入转化，优化阿里云的效果与客户满意度。 4、能力沉淀和赋能 • 构建可复用的知识资产：沉淀面向细分领域/场景的大模型调用最佳实践、细分领域标杆案例等知识文档。 • 内部团队、生态伙伴、客户赋能和培训。 5、产品需求和改进反馈 • 识别和理解阿里云大模型的技术问题和机会，传递客户需求和反馈给产品团队，影响功能开发和未来产品路线图，保持阿里云产品的市场竞争力。 •了解客户大模型使用的情况恶化效果，将客户使用中遇到的影响客户体验的问题，反向推动内部解决，推动内部产品解决方案和流程体系的改进。

1、团队管理与流程建设： - 统筹管理标注团队，制定SOP标准与质量验收体系； - 搭建多维度评估框架（准确率/可用性/意图分类/解决方案优化）； - 建立数据标注全流程质控机制，确保标注样本精准度。 2、业务场景深度运营： - 推动To C智能问答模型的知识准确性管理（上线前测评/在线监控/效果分析）； - 推动To B知识库场景的标准化建设（知识易用性/答案审核）； - 设计自动化标注工具与AI辅助审核系统。 3、跨部门协同： - 联动算法团队输出模型优化建议报告（周/月维度迭代建议）； - 协同产品部门完善客服知识库建设（重点攻坚B端复杂场景）； - 主导客服业务知识体系与AI能力的融合创新。

1.配合AI医学管理部执行组内相关管理工作，跟进项目执行落地情况： 2.参与团队评估的数据跟踪与数据整理工作； 3.跟进各任务的数据接收、评估进度、推进流程，进行异常问题反馈； 4.配合管理团队完成其他支持类工作