摘要
1) 一句话总结 本文概述了GPT-4V（视觉）系统卡，介绍了其引入图像输入功能所带来的多模态优势，并重点说明了针对该视觉新模态的安全性评估与风险缓解工作。
2) 关键要点
- 核心功能：GPT-4V 是一项正在广泛推出的新功能，允许用户指示 GPT-4 分析图像输入。
- 研发前沿：将图像等额外模态整合到大语言模型（LLMs）中是当前 AI 研发的关键前沿领域。
- 突破限制：多模态模型打破了单一文本交互的限制，引入了全新的界面与功能。
- 解决新任务：使模型具备了处理视觉与文本相结合的复杂问题的能力，提供更多维度的用户体验。
- 安全基础：GPT-4V 的安全工作建立在先前 GPT-4 的安全基础之上。
- 聚焦新模态：系统卡重点关注“图像输入”这一新模态的安全性。
- 核心安全工作：包括针对视觉能力的安全评估、模型发布前的前期准备，以及潜在风险的缓解措施。
- 研究领域：系统卡及相关研究深入探讨了 GPT、语言模型、学习范式以及伦理与安全等核心领域。
正文
GPT-4 视觉版（GPT-4V）允许用户指示 GPT-4 分析其提供的图像输入，这是我们正在广泛推出的最新功能。
多模态大语言模型的前沿探索
将图像输入等额外模态整合到大型语言模型（LLMs）中，被视为人工智能研发的一个关键前沿领域。多模态大型语言模型有望大幅扩展纯语言系统的影响力，具体体现在以下几个方面：
- 引入全新界面与功能：打破单一文本交互的限制。
- 解决全新任务：使模型具备处理视觉与文本结合的复杂问题的能力。
- 提供全新体验：为用户带来更丰富、更多维度的交互方式。
聚焦安全性与风险缓解
在本系统卡中，我们重点分析了 GPT-4V 的安全特性。
GPT-4V 的安全工作建立在先前 GPT-4 的基础之上。在此文档中，我们将深入探讨专门针对“图像输入”这一新模态所进行的各项核心工作：
- 针对视觉能力的安全评估
- 模型发布前的前期准备
- 潜在风险的缓解措施
本系统卡及相关研究深入探讨了 GPT、语言模型、学习范式以及伦理与安全等核心领域。