蚂蚁金服蚂蚁集团-安全风险策略高级专员-医疗大模型
任职要求
1、数学、统计、计算机、管理科学、金融等相关专业硕士或以上学历； 2、有良好的数据处理、分析与数据化运营能力，熟练使用至少一种专业分析工具，如Python，SQL等； 3、较高的风险敏锐度，能够快速理解…
工作职责
在大模型应用百花齐放的时代，蚂蚁集团也积极投身其中，重点打造垂类领域的大模型产品，AQ就是其中的代表之一。我们团队重点关注AQ的各类风险，基于集团的安全能力和基建提供全套风险管理方案，为AQ的健康发展保驾护航。大模型医疗垂类风险作为其中最重要的风险，是我们的工作重点，我们致力于数据驱动，利用前沿的算法配合策略设计，做实做好风险防控。 1、策略建设：负责医疗大模型的风险策略运营，涉及大模型问答风险、服务风险和用户管理等，基于数据挖掘和分析，设计风险识别和决策策略，搭建面向各类风险的策略体系，并持续优化； 2、策略运营：熟悉风控平台，保障策略安全有效落地； 3、能力建设：基于风险管理需要预判策略升级方向，与产品和技术紧密合作，持续迭代智能化风控产品，推动产品化运营； 4、协同联动：深入业务实际场景，与医疗专家一道定义风险，与大模型算法一道进行大模型内生安全优化等。
1、负责阿里巴巴集团创新业务相关业务风控风险治理，如账号安全、活动反作弊、拉新促活反作弊、恶意行为相关风险治理 2、通过对接业务，深入对平台上用户数据、行为数据的分析洞察，输出相关风险行为手法和特征，建立风险能力及策略，并持续进行能力提升，对业务治结果负责 3、协同业务，完善风险感知渠道，及时风险新手法的发现，建设线上治理水位评价指标，实现业务核心风险可感知，可预警，可处置、可评价 4、高效协同相关产品、算法团队，提升业务核心风险治理能力，完善治理产品，支撑日常策略高效运营
1.agent整体安全方案设计：全链路设计端智能agent安全管控机制，包括供给安全、违规内容、xUI安全、意图护栏、调用管控、网络防御等，搭建对用户违规输入及模型违规输出的风险识别管控体系，确保复杂场景下的agent安全可控。 2.大模型攻击研究：研究端智能agent在多工具调用、RAG、memory、链式推理等复杂环境中的攻击面与潜在风险，识别敏感数据泄漏、工具滥用、意图篡改、海绵攻击、数据投毒、越狱攻击等新型威胁。 3.agent安全评测体系建设：基于端智能agent搭建风险知识体系，构建行业难题库及对抗样本生成工具，设计可复现的评测流程持续验证模型安全性与误杀表现。
1、负责直播安全体系建设，基于对直播色情、未成年等风险认知和业务理解做出判断，制定直播问题分类定义、识别处置、效果评估的治理流程机制，制定跨业务域和跨风险域的解决方案； 2、基于直播治理的整体诉求，结合情报调研、数据分析和案例研判，敏锐发现不同场景下的社区问题，找到关键指标和特征，并通过数据挖掘驱动策略迭代和指标归因，在风险对抗中保持底线风险处于低位； 3、对直播业务有专业见解、具备良好的跨团队沟通协作能力，能够联动业务、策略算法等团队，针对直播中的底线问题制定合理有效的解决方案并高效落地，为治理结果负责； 4、熟悉内容安全应急工作，可以体系性的针对应急防控流程进行优化，利用AI工具在时效性、准确性、可操作性上完成整体迭代； 5、具备内容Agent模型相关工作，了解如何使用AI能力在内容治理的识别、审核、判罚环节进行应用落地。
1.风险发现预警，对社会热点的监测和风险研判预警，对境内外高危风险的监测和应对； 2.深度风险分析报告撰写，对预警后的风险做深度分析，并形成报告； 3.将风险转化为内容治理策略，帮助业务侧了解、规避风险。