通义研究型实习生 - 面向多领域任务泛化的GUI Agent多轮强化学习方法研究
任职要求
1. 计算机科学、人工智能、机器学习或相关领域的硕士或博士学位。 2. 在多模态、大语言模型、Agent、机器学习等一个或多个领域有较深入的研究。 3. 具有出色的分析、解决问题的能力,能深入解决大模型训练、应用存在的问题,有自主探索解决方案的能力者。 4. 能够积极创新, 乐于面对挑战, 负责敬业,优秀的团队合作精神,一起探索新技术,推进技术进…
工作职责
1. 探索研究多模态大模型、GUI agent、AI memory、多模态RAG等前沿技术。 2. 参与研发多模态、全模态大模型等下一代人工智能核心技术,探索面向真实环境的多模态智能体多轮强化学习,提升大模型能力。 3. 负责跟踪和研究多模态大模型前沿技术调研、落地、对业务进行优化。
1.负责多模态理解大模型的前沿算法研究、实现与优化,重点攻克图像/视频理解、视觉问答、跨模态交互等关键任务。 2.参与构建和清洗大规模多模态数据集,探索数据增强策略,并可能建设高效的数据生产、标注和评估 pipeline,涵盖通用数据、视频、OCR等场景。 3.具备技术前瞻性与创新能力,跟踪国际最新技术动态,探索如多模态理解创新架构、音视频理解、Agentic RAG、AI Memory等新方向,并提出创新算法或方案,推动学术前沿发展。
1.负责多模态理解大模型的前沿算法研究、实现与优化,重点攻克图像/视频理解、视觉问答、跨模态交互等关键任务。 2.参与构建和清洗大规模多模态数据集,探索数据增强策略,并可能建设高效的数据生产、标注和评估 pipeline,涵盖通用数据、视频、OCR等场景。 3.具备技术前瞻性与创新能力,跟踪国际最新技术动态,探索如多模态理解创新架构、音视频理解、Agentic RAG、AI Memory等新方向,并提出创新算法或方案,推动学术前沿发展。
研究领域: 多模态医学影像处理 项目简介: 本项目旨在通过系统性的两阶段研究计划,全面革新全身CT影像的人工智能分析技术范式。当前,CT影像AI在临床实际应用中仍面临三大核心挑战:一是模型功能高度碎片化,难以实现跨病种、跨解剖区域的一体化分析;二是算法决策过程缺乏透明度,呈现“黑盒化”特征,阻碍医生对结果的信任与采纳;三是现有AI系统普遍缺乏对复杂临床场景的多步推理与上下文理解能力,难以支持高阶诊断任务。针对上述问题,本项目将从底层架构到临床落地协同推进,构建具备可解释性、泛化性和高级推理能力的新一代全身CT智能分析体系,推动医学影像AI从“辅助工具”向“临床伙伴”的实质性跃迁。
研究领域: 医学多模态学习 项目简介: 肌萎缩侧索硬化症(Amyotrophic Lateral Sclerosis, ALS)是一种进行性神经退行性疾病,具有病程进展快、临床表型异质性强、早期症状隐匿等特点:其早期诊断率不足70%,从首发症状到确诊的延迟平均超过一年,患者常因此错失最佳干预窗口,而现有诊断高度依赖临床经验与肌电图,缺乏客观、可量化的生物标志物,加之疾病表型与进展速度在个体间差异显著,传统评估工具对早期筛查、精准分型、个体化进展预测与疗效监测的能力十分有限。与此同时,临床随访、语音、行为及多中心病例数据长期处于碎片化状态,影像学、血液与脑脊液等生物标志物特异性不足,难以独立支撑精准诊断与预后判断,亟需建立跨模态的数据融合体系,打通从分子病理到临床功能的完整认知链路,为构建新一代精准生物标志物奠定数据基础。本项目依托全球规模领先的ALS患者队列与多中心协作网络,已建成覆盖临床信息、脑影像组学、实验室检查与多组学数据的完整数据体系,并具备将专家级智能模型向基层医院推广落地的良好基础;项目旨在融合多模态医学数据与人工智能技术,构建面向ALS的智能分析与精准生物标志物研发体系,推动疾病诊疗从"经验型"向"精准化、智能化、个体化"模式转变,为ALS的早筛、早诊、风险预警与精准干预提供新一代技术支撑。