使用transformers库的from_pretrained()函数时出错
在运行这段代码时
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
然后报如图的错误
图中错误即
OSError: Unable to load weights from pytorch checkpoint file. If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.
查了github之后发现了一样的问题:
#6159
#6620
大意就是要么删除~/.cache/中的缓存,要么在from_pretrained()函数中添加force_download=True
如下是我的方法
- 先从huggingface官网
https://huggingface.co/
- 下载所需要的Bert模型
- 把函数改成
tokenizer = BertTokenizer.from_pretrained("/你把文件夹放在哪/bert-base-uncased")
- 最后检查一下自己下载的文件大小是不是匹配的!!!
git clone下载的文件容易下载几十bytes的LFS文件,而不是源文件!!!
点击红框内的下载按钮下载源文件
更多推荐