荣耀AIGC合成检测技术高级工程师

1. 多模态大模型研发与落地： - 负责工业视觉质检领域多模态大模型的构建、训练与优化，解决传统CV模型在复杂背景、小样本、零样本缺陷的识别率低的问题。 - 研究并应用多模态融合技术（如图像+文本描述、图像+参数），提升模型对工业缺陷的语义理解与泛化性能，同时实现工业缺陷的自然语言描述生成和智能问答。 - 搭建面向大模型的质检数据生产与清洗的pipeline，包括高质量图文对齐数据的构建、合成数据生成等，并设计模型效果评估体系，驱动算法的持续迭代与优化。 - 针对工业场景的实时性与高精度要求，负责大模型的轻量化部署与推理加速（如量化、剪枝、蒸馏）。 2. 质检Agent智能体构建： - 负责设计并主导研发面向工业视觉质检场景的智能Agent，具备多模态理解能力，能够融合图像、文本（如工艺标准SOP）、传感数据等信息，实现对缺陷的自动化判定、描述、归因及溯源。 - 构建面向质检场景的Agent工作流（Workflow），包括任务规划（模型自动择优等）、节点调用（训练任务的全流程、工具搭建业务流等等）、结果反馈。 - 负责构建并维护质检领域的专业知识库（RAG），结合向量数据库技术，提升Agent在特定缺陷场景下的准确性和可解释性。 3. 大模型微调与优化： - 针对工业质检的小样本、长尾分布问题，设计并实施高效的大模型微调策略（如LoRA、P-Tuning等），提升模型在特定质检任务上的识别检出能力。 - 持续跟进多模态大模型、AIGC、Agent等领域的最新前沿技术进展，并引领团队进行技术预研和创新，探索其在工业缺陷检测中的应用潜力。

1、围绕移动智能终端AIGC内容生成带来的认知安全风险，完成AIGC内容检测和风控产品解决方案设计和开发； 2、负责AIGC内容检测模型设计、评估、剪枝、量化等相关工作，构建算法平台和量化训练工具； 3、开展AIGC内容生成与检测算法攻防对抗的前瞻性研究与洞察，并拓展业务落地。

研究领域： 机器学习 项目简介： AIGC技术层次不穷，新的AIGC技术浪潮迅猛发展，与此同时，我们必须提升AIGC防伪检测的水平。例如：互联网上充斥着大量“以假乱真”的音视频内容，将影响正常的社会舆论趋势和人的审美美感，也伴随着一些内容安全隐患，可能对人类的价值观和道德观产生负面的影响，需要引起重视。 AIGC典型应用包括：深度伪造视频，深度伪造音频，或者部分深度伪造视频中也包含一些深度伪造的音频，本子课题重点针对音频深度伪造的检测技术。常用的音频深度伪造有逻辑攻击和物理攻击两大类，其中，物理攻击------采用变声器等录音设备进行声音转换，或录音重放等方式生成伪造语音数据；逻辑攻击------通过语音合成Text-to-Speech(TTS) ，音色转换Voice Conversion(VC)和语音克隆Voice Cloning(VC)等深度网络方法生成伪造音频。探索AIGC时代音频防伪技术，加强安全防控，防范新型未知风险。

1. 通过多模态算法进行用户的可信认知，支持十亿级支付宝用户，业务覆盖支付宝、蚂蚁国际、消金、财富、保险、生态等蚂蚁全域场景。 2. 方向一：多模态理解与推理方向，负责全面、高精、高效的多模态垂域模型研发，深耕视觉图像&视频reasoning，提升理解和推理能力，攻坚reward设计、多模态推理框架设计等核心问题。 3. 方向二：负责声纹识别、声音防伪算法以及意图理解等算法，探索声纹表征、声纹防伪、ASR、语音合成等All-In-One模型方案，研发金融级识别和防伪算法，落地与实际支付场景； 4. 方向三：声学算法部分，负责波束成形、声源定位、阵列增强、音频编解码等软硬件一体语音信号处理算法原型开发、性能优化 5. 关注多模态以及语音大模型算法前沿技术和发展动态，持续探索新一代AI驱动的、高效的、有效的、业务及产品新范式，推动业务发展、引领行业变革；