使用transformers库的from_pretrained()函数时出错

在运行这段代码时

tokenizer  = BertTokenizer.from_pretrained("bert-base-uncased")

然后报如图的错误
在这里插入图片描述图中错误即OSError: Unable to load weights from pytorch checkpoint file. If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.

查了github之后发现了一样的问题:
#6159
#6620
大意就是要么删除~/.cache/中的缓存,要么在from_pretrained()函数中添加force_download=True

如下是我的方法

  1. 先从huggingface官网
https://huggingface.co/
  1. 下载所需要的Bert模型

在这里插入图片描述

  1. 把函数改成
tokenizer  = BertTokenizer.from_pretrained("/你把文件夹放在哪/bert-base-uncased")
  1. 最后检查一下自己下载的文件大小是不是匹配的!!!
    git clone下载的文件容易下载几十bytes的LFS文件,而不是源文件!!!

在这里插入图片描述点击红框内的下载按钮下载源文件

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐