最新进展，把build文件夹删了，重新setup.py运行一下，也能解决问题。

如果之前pytorch是1.4的话，试试：

pip install -U torch==1.5

注意，torchvision版本随pytorch版本而变，1.4对应torchvision=0.5.0，1.5对应torchvision=0.6.0。
如果需要改torchvision的话，直接运行

pip install torchvision==0.6.0

也可以，因为他会自动卸载当前不符合版本的pytorch，重新安装符合它版本的pytorch。

补充，我用直接安装torchvision的方法，安装的1.5.0有问题。它显示我

The NVIDIA driver on your system is too old (found version 10010). Please update your GPU driver by downloading and installing a new…

搜索发现是因为pytoch和cuda版本不对应。但是我10.1的cuda和1.5的torch明明是对应好的。
用

python
import torch
torch.cuda.is_available()

打印出False，发现问题很大，连gpu都用不了。

所以最终还是去官网下载对应的whl包，再用pip install xxx.whl安装。最终成功。