查看原文
其他

CVPR 2024 | 通过细粒度人类反馈对齐数据,提高多模态大模型可信度

让你更懂AI的 PaperWeekly
2024-08-22


多模态技术是 AI 多样化场景应用的重要基础,多模态大模型(MLLM)展现出了优秀的多模态信息理解和推理能力,正成为人工智能研究的前沿热点。然而,与大语言模型一样,多模态大模型也依然受到“幻觉”问题的困扰,即模型在回答中出现与图片信息不符的内容。经过测试发现,即便是 GPT-4V 也会在 45.9% 的图片回答中出现明显的“幻觉”


大模型出现“幻觉”的症结之一在于未经人类对齐时发生的“过泛化”情况。例如,让模型描述街景图片时,无论画面中是否有行人出现,模型都会因为自身过度的泛化问题,输出对行人的描述。这种现象在当前的多模态大模型中普遍存在,也使得多模态大模型的应用在可信度问题得到解决之前仍受限制。


因此,如何尽可能减少多模态大模型的“幻觉”,提高回答的准确性和可信度,是所有人工智能研究者都在奋力攻克的难题。


为缓解多模态大模型的幻觉问题,我们提出了全新的多模态大模型对齐框架 RLHF-V,从数据和算法层面入手显著减少“幻觉”的出现。


目前,这一工作已被 CVPR 2024 接收。应用该方法训练的开源模型 OmniLMM-12B 在多个幻觉指标上取得了接近 GPT-4V 的水平。


核心优势:

  • 首次提出采用人工修改的方法获得细粒度多模态人工偏好数据;

  • 拥有突出的数据效率:仅需 1.4k 人类反馈的细粒度数据单机 8×A100 训练 1 小时即可使模型幻觉率降低 34.8%;

  • 具有优秀模型可信度和通用性能:在保持模型输出信息量的情况下,RLHF-V 在幻觉评测中超越现有的开源多模态大模型,甚至抵抗“过泛化”的效果超越 GPT-4V


论文地址:

https://arxiv.org/abs/2312.00849

项目主页:

https://rlhf-v.github.io

DEMO:

http://120.92.209.146:8081



效果展示:RLHF-V方法有效减少“幻觉”问题

将使用 RLHF-V 方法训练后的模型与 InstructBLIP、LLaVA-RLHF、GPT-4V 模型在相同视觉问答 (VQA,Visual Question Answering)任务下的表现进行比较,结果如下:


测试效果1:在短回复问题上,RLHF-V 模型能够给出正确且简练的回复。

▲ 在短回复问题上 RLHF-V 模型与其他模型效果对比,其中红色部分为幻觉,绿色部分为正确的回答。


可以看到,当用户提问:“图片中的男人正在干什么?”时,RLHF-V 模型正确地答出图中的人在“竖大拇指”。InstructBLIP 也给出正确回答,即图中的人在接电话。而 LLaVA-RLHF 的过长回答里包含多条事实错误,GPT-4V 的短回答里正确与错误信息参半出现。


测试效果2:在更容易产生“幻觉”的长回复问题上,RLHF-V 模型提供的回复可信度高,且包含充足有效信息。

▲ 在长回复问题上 RLHF-V 模型与其他模型效果对比,其中红色部分为幻觉。


用户提问“你觉得这张照片里发生了什么?”,RLHF-V 模型和 GPT-4V 都在尽可能通过图片细节正确地描述场景,而 InstructBLIP 和 LLaVA-RLHF 的回答里则包含多处事实“幻觉”。


测试效果3:在减少多模态大模型因过泛化产生的 “幻觉”问题上,RLHF-V 的表现超过 GPT-4V。

▲ 长回复问题中,RLHF-V 与 GPT-4V 在“过泛化”现象上的对比,其中红色部分为幻觉,深红色部分为“过泛化”导致的场景相关的幻觉。


当用户提出“对给定图片进行详细描述”时,GPT-4V 的回答产生了与图片中厨房场景高度相关的过泛化“幻觉”答案,如 “排风扇”、“盘子架” 等,而 RLHF-V 则没有出现场景相关的物体幻觉。



关键创新:细粒度偏好标注与稠密对齐方法

RLHF-V 包含两项创新方法:数据层面,应用基于人工修改的细粒度偏好对齐数据;算法层面,采用稠密监督信号的 DDPO 算法。

基于修改的细粒度偏好对齐数据

在数据标注时,通过人工修改多模态大模型输出回复的方式,得到细粒度的人类偏好对齐数据。这种标注方式相比传统基于排序的数据收集方式具有三点显著优势:


第一,回答更准确:基于排序的偏好数据在训练正例中仍然可能包含幻觉,例如下图中对时钟具体时间的识别,包括 GPT-4V 在内的模型都频繁出现错误,而人工修改的答案能够保证训练正例准确无误,极大提高多模态偏好数据的质量。


第二,无歧义的回答偏好判断:关于丰富图像内容的优质回答一般长而复杂,标注人员对这些回答进行优劣排序的过程是困难的,但如果使用 RLHF-V 提出的人工修改方法,只需找出并修改回答中的错误语句,因优劣排序而带来的标注歧义问题就会迎刃而解。


第三,提供细粒度监督信号:由于 RLHF-V 同时也提供了细化到短语级别的人类偏好数据,所以能够更加精准地鼓励或惩罚模型表现,对齐人类偏好。

▲ 细粒度偏好对齐数据标注过程示意图


目前,我们利用这一方法在 LLaVA、InstructBLIP、Qwen-VL-Chat 5 个模型输出上标注了总计 5.7K 高质量偏好对齐数据,该数据已经开源至 Hugging Face。

稠密监督信号的 DDPO 算法

模型“幻觉”的产生很大程度源于人类 “正/负反馈” 的缺失,从而使模型表现偏离人类偏好。在算法层面,缓解模型“幻觉”可以从采用偏好对齐算法入手。目前应用最广的人类偏好对齐算法有两种:近端策略优化(PPO,Proximal Policy Optimization)和直接偏好优化(DPO,Direct Preference Optimization)。


虽然新提出的 DPO 有资源消耗更低、训练更稳定的优势,但作为一个回复级别的算法,DPO 无法直接鼓励或惩罚回复中的细粒度行为。基于此,研究团队提出了 DPO 的“强化版”——DDPO(Dense-DPO)算法,即提高修改片段的优化权重,让模型着重学习人工修改过的语句部分,以更加充分地利用标注数据中的细粒度信息对齐人类偏好。

▲ 稠密监督 DDPO 算法示意图



实验验证和结果

首先,RLHF-V 在长回复与短回复任务上模型幻觉均显著下降,且通用性能不受损失。


为了对模型进行幻觉评测,研究团队测试了模型在长回答指令和短回答指令下的幻觉比例情况,前者需要详细描述图片内容,后者只需简短回答图片相关问题。与此同时,为了评估模型的通用性能,研究团队还分别测试了模型在开放对话(LLaVA Bench)与图片问答(VQAv2)上的性能表现。


实验结果表明:RLHF-V 在幻觉评测指标上超越了已有的开源多模态大模型,且能够在显著减小幻觉的情况下,保持模型优秀的通用性能

▲ RLHF-V 与其他开源模型及 GPT-4V 在幻觉比例和通用性能上的对比


第二,RLHF-V 解决“过泛化” 问题的表现优于 GPT-4V。


为了评测模型在“过泛化”问题上的表现,作者选择了多模态指令数据中的 4 个典型场景,以及最常出现在每个场景中的 10 个常见物体类别(COCO 物体类别),统计这些物体在所有条目中的幻觉率,以及在对应场景下的幻觉率。


实验结果表明,包括 GPT-4V 在内的现有 MLLM,均有明显“过泛化”倾向,而 RLHF-V 模型“过泛化”倾向最低

▲ RLHF-V 与其他开源模型及 GPT-4V 在“过泛化”问题上的效果对比


第三,细粒度对齐数据在训练中具有高效性以及规模效应。


数据集规模对模型性能的影响也是非常重要的评测方向。从实验结果来看,相比基于排序的偏好数据,采用细粒度修改标注能够在 1/10 的数据规模下达到相近的模型效果。同时,随着数据量增加,模型幻觉率显著降低

▲ RLHF-V 数据的规模效应曲线



方法应用

实际上,将 RLHF-V 数据和方法用于调整 LLaVA 等其他多模态大模型,也可以有效降低模型“幻觉”的出现次数,提高模型回答可信度。近期研究团队应用 RLHF-V 方法训练的开源模型 OmniLMM-12B 在多模态综合能力上达到开源模型顶尖水平,并且在多模态幻觉评测指标中显著超越其他开源模型效果

在未来,研究团队也将继续在多模态大模型算法及数据领域进行研究,助力开源多模态大模型向成熟应用的转变。



作者团队简介

清华大学计算机系自然语言处理与社会人文计算实验室(THUNLP)是国内最早开展大模型研究、最具影响力的科研单位之一。


THUNLP 多模态大模型方向深度探索通用多模态大模型的技术体系,研究内容包括通用多模态基础大模型构建、多模态大模型对齐、多模态大模型评测等。研究团队已在多模态大模型研究方面取得多项前沿成果,相关成果发表在国际人工智能顶级会议上。其中基于跨语言跨模态泛化技术构建的中英双语多模态大模型 VisCPM 被 ICLR 2024 收录为 Spotlight 论文;多模态大模型对齐算法 RLHF-V 被 CVPR 2024 收录;端侧大模型 MiniCPM-V 发布一个月内在开源平台下载量超 3 万次。


如果你热衷于探索大模型技术前沿,对多模态大模型研究充满热情,欢迎加入我们!无论期望在公司实习,还是在实验室作为访问学者,我们都会为你提供理想的工作环境和成长空间。

论文地址:https://arxiv.org/abs/2312.00849

项目主页:https://rlhf-v.github.io

DEMO:http://120.92.209.146:8081

联系方式:yu-ty21@mails.tsinghua.edu.cn


更多阅读




#投 稿 通 道#

 让你的文字被更多人看到 



如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。


总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 


PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。


📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算


📬 投稿通道:

• 投稿邮箱:hr@paperweekly.site 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿


△长按添加PaperWeekly小编



🔍


现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧


·
·
·

继续滑动看下一个
PaperWeekly
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存