报告题目:视觉语言模型的鲁棒性评测
主讲人:刘弘,日本大阪大学助理教授
报告时间:2024年12月4日(星期三)10:00-11:30
报告地点:yl8cc永利官网翔安校区西部片区1号楼108
报告摘要:
近年来,视觉语言模型在响应用户视觉指令方面取得了重大突破,因而备受学术界与工业界的广泛关注。然而,此类包含图片和文本的指令容易引发诸多安全风险。为此,我们针对当前的视觉语言模型构建了三个评测基准库。其一,旨在剖析模型在应对各类对抗性视觉指令(AVI)时的鲁棒性,涵盖四种基于图像的 AVI、十种基于文本的 AVI 以及九种内容偏见 AVI(如性别、暴力、文化和种族偏见等)。其二,对主流的文生图模型(如 DALL-E)在隐式提示下的表现进行了细致的调查与评估。此外,我们针对用于政治宣传的视频构建了首个评测基准数据,可用于分析政治宣传的手段和技巧。我们着重强调了增强视觉语言模型鲁棒性、安全性与公平性的重要意义,呼吁社区关注大模型所带来的安全风险及伦理等问题。
报告人简介:
刘弘,日本大阪大学助理教授。曾任日本学术振兴会外国人特任研究员,日本国立情报学研究所博士后。研究方向为计算机视觉、机器学习、多媒体分析与计算等。在TPAMI、IJCV、CVPR等国际期刊和会议上发表多篇学术论文。获得JSPS International Fellowships、中国图象图形学学会优秀博士学位论文奖,福建省优秀博士学位论文奖,ICLR最佳审稿人奖等。担任IJCV等期刊客座编委,ACM MM等会议领域主席, Visual Intelligence编委。
邀请人:人工智能系 罗志明副教授