Yi-VL-6B 是一个开源的多模态大型语言模型（LLM），由零一万物推出。该模型结合了视觉和语言处理能力，能够理解和生成文本，并处理与图像相关的多轮对话。Yi-VL-6B 在多模态基准测试中表现卓越，特别是在 MMMU（多模态问题理解）和 CMMMU（中文多模态问题理解）中排名第一。
主要特点：
- 多轮文本-图像对话：能够处理文本和图像输入，并生成文本输出。
- 双语文本支持：支持英语和中文的对话，包括图像中的文字识别。
- 强大的图像理解能力：擅长分析视觉信息，是提取、组织和总结图像信息的有效工具。
- 细粒度图像分辨率：支持 448×448 的高分辨率图像理解。
模型评测
Yi-VL-6B 在多个基准测试中表现出色，特别是在以下两个领域：
- MMMU：多模态问题理解，测试模型对多学科多模态问题的理解能力。
- CMMMU：中文多模态问题理解，专门测试模型对中文多模态问题的理解能力。
这些基准测试显示，Yi-VL-6B 在处理复杂多模态问题方面具有显著的优势。
部署使用
硬件要求
- Yi-VL-6B：推荐使用 RTX 3090, RTX 4090, A10, A30 等 GPU。
部署步骤
- 获取模型：从 ModelScope 或 Hugging Face 下载 Yi-VL-6B 模型。
- 安装依赖：确保安装了必要的库和框架，如 PyTorch。
- 加载模型：使用适当的加载函数加载模型。
- 准备输入：将图像和文本输入转换为模型可接受的格式。
- 运行模型：执行模型推理，获取输出结果。
示例代码
import torch
from transformers import AutoModel, AutoTokenizer
# 加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained("modelscope/Yi-VL-6B")
model = AutoModel.from_pretrained("modelscope/Yi-VL-6B")
# 准备输入
text = "What is in the image?"
image = "path_to_your_image.jpg"
# 编码文本和图像
inputs = tokenizer(text, image, return_tensors="pt")
# 运行模型
with torch.no_grad():
outputs = model(**inputs)
# 获取结果
result = outputs.logits
常见问题
Q1: 如何处理低分辨率图像？
A1: Yi-VL-6B 训练时使用的是 448×448 分辨率的图像。在推理时，所有输入图像会被调整到这个分辨率。低分辨率图像可能会丢失一些细节，而高于 448×448 的图像则不会增加额外的知识。
Q2: 模型是否支持多图像输入？
A2: 目前，Yi-VL-6B 只支持单图像输入。未来可能会增加对多图像输入的支持。
Q3: 如何优化微调模型性能？
A3: 可以通过调整模型参数、使用更大的数据集进行训练或使用更强大的硬件来优化模型性能。
相关资源
模型下载
许可证
- Yi Series Models Community License Agreement 2.1: 适用于学术研究和商业用途，免费使用需申请。
通过这些资源，您可以更深入地了解和使用 Yi-VL-6B 模型。
