info_public@xmu.edu.cn +86 592 2580110
【海韵讲座】2024年第65期 视觉语言模型的鲁棒性评测
发布时间:2024年12月02日 16:04 点击:

报告题目:视觉语言模型的鲁棒性评测


主讲人:刘弘,日本大阪大学助理教授


报告时间:2024124日(星期三)10:00-11:30


报告地点:yl8cc永利官网翔安校区西部片区1号楼108


报告摘要:

近年来,视觉语言模型在响应用户视觉指令方面取得了重大突破,因而备受学术界与工业界的广泛关注。然而,此类包含图片和文本的指令容易引发诸多安全风险。为此,我们针对当前的视觉语言模型构建了三个评测基准库。其一,旨在剖析模型在应对各类对抗性视觉指令(AVI)时的鲁棒性,涵盖四种基于图像的 AVI、十种基于文本的 AVI 以及九种内容偏见 AVI(如性别、暴力、文化和种族偏见等)。其二,对主流的文生图模型(如 DALL-E)在隐式提示下的表现进行了细致的调查与评估。此外,我们针对用于政治宣传的视频构建了首个评测基准数据,可用于分析政治宣传的手段和技巧。我们着重强调了增强视觉语言模型鲁棒性、安全性与公平性的重要意义,呼吁社区关注大模型所带来的安全风险及伦理等问题。

报告人简介:

刘弘,日本大阪大学助理教授。曾任日本学术振兴会外国人特任研究员,日本国立情报学研究所博士后。研究方向为计算机视觉、机器学习、多媒体分析与计算等。在TPAMIIJCVCVPR等国际期刊和会议上发表多篇学术论文。获得JSPS International Fellowships、中国图象图形学学会优秀博士学位论文奖,福建省优秀博士学位论文奖,ICLR最佳审稿人奖等。担任IJCV等期刊客座编委,ACM MM等会议领域主席, Visual Intelligence编委。

邀请人:人工智能 罗志明副教授


主讲人 刘弘,日本大阪大学助理教授 主持人
时间 2024-12-04 10:00:00 报告题目 视觉语言模型的鲁棒性评测
首作者 People
职称 联系电话
邮箱 研究方向
主讲人简介 刘弘,日本大阪大学助理教授。曾任日本学术振兴会外国人特任研究员,日本国立情报学研究所博士后。研究方向为计算机视觉、机器学习、多媒体分析与计算等。在TPAMI、IJCV、CVPR等国际期刊和会议上发表多篇学术论文。获得JSPS International Fellowships、中国图象图形学学会优秀博士学位论文奖,福建省优秀博士学位论文奖,ICLR最佳审稿人奖等。担任IJCV等期刊客座编委,ACM MM等会议领域主席, Visual Intelligence编委。 地点 yl8cc永利官网翔安校区西部片区1号楼108
办公室 研究院