问题描述

最近在本地部署BLIP-2模型时，遇到了一个让我这个初学者头疼的错误：`RuntimeError: shape mismatch: value tensor of shape [81920] cannot be broadcast to indexing result of shape [0]`。经过一番排查，发现这可能是由于`transformers`库版本过旧导致的兼容性问题。下面我将简要记录问题的解决过程，希望能帮助到遇到类似问题的朋友~

RuntimeError: shape mismatch: value tensor of shape [81920] cannot be broadcast to indexing result of shape [0]

这个错误通常表示张量的形状不匹配，导致无法进行广播操作。BLIP-2是一个较新的模型，可能依赖于`transformers`库的最新功能，因此版本不兼容可能是导致这个问题的原因之一。

问题排查步骤

1. 检查当前 transformers 版本

首先，查看本机安装的 transformers 版本：

pip show transformers

输出结果显示，当前版本为`4.45`，我本来以为它已经够新了，但是它是一个较旧的版本。

Name: transformers
Version: 4.45.0
...

如果 transformers 版本较旧，建议升级。

2. 升级 transformers

使用以下命令进行升级：

pip install --upgrade transformers

这个命令会自动更新 transformers，并且 tokenizers 依赖项也会自动更新，避免版本冲突。如下所示。

3. 确保 torch 版本兼容

除了 transformers，torch 版本也可能影响 BLIP-2 的运行。推荐使用 PyTorch 2.x，可以通过以下命令查看：

pip show torch

如果 torch 版本较旧，可以升级：

pip install --upgrade torch

或根据你的环境（CUDA/CPU）选择适合的 PyTorch 版本：PyTorch 官网。

最终运行成功

在完成上述步骤后，重新运行 BLIP-2 代码，问题应该已经解决。

示例代码：

from transformers import Blip2Processor, Blip2ForConditionalGeneration
import torch
from PIL import Image

# 加载预训练模型
# 默认是Salesforce/blip2-opt-2.7b，需要改成你自己的路径
processor = Blip2Processor.from_pretrained("Salesforce/blip2-opt-2.7b")  
model = Blip2ForConditionalGeneration.from_pretrained("Salesforce/blip2-opt-2.7b", torch_dtype=torch.float16)
model.to("cuda" if torch.cuda.is_available() else "cpu")

# 读取图像
image = Image.open("your_image.jpg").convert("RGB")
inputs = processor(image, return_tensors="pt").to(model.device, torch.float16)

# 生成文本
generated_ids = model.generate(**inputs, max_new_tokens=50)
caption = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
print("Generated Text:", caption)

输出示例

我们的图如下，输出的文字描述意思是人们在河边行走，意思对应上了。

如果你在运行过程中遇到其他问题，可以检查 Python 版本（推荐 3.8 及以上）或 torch 和 transformers 版本是否匹配。

希望这篇笔记能帮到你！