windows10+anaconda 搭建bert环境
准备条件:1、默认安装了anaconda3(建议)2、python3.7一、安装tensorflow-gpuconda search tensorflow-gpu#查看可以安装的版本conda install tensorflow-gpu=2.5.0 #选择安装的版本 “=”号后面自己选择可安装的版本之一import tensorflow as tftf.__version__#测试是否安装成功#
·
准备条件:1、默认安装了anaconda3(建议)
2、python3.7
一、安装tensorflow-gpu
conda search tensorflow-gpu #查看可以安装的版本
conda install tensorflow-gpu=2.5.0 #选择安装的版本 “=”号后面自己选择可安装的版本之一
import tensorflow as tf
tf.__version__ #测试是否安装成功
#若成功,将会输出 [out1] '2.5.0'
二、安装CUDA及cudnn
虽然已经安装了tensorflow-gpu,但仍未得到GPU硬件加速,因此还需要安装CUDA、cudnn
1)安装CUDA
2)下载cudnn
下载之后解压,将里面的文件拷贝到cuda的文件夹里既可(即替换这三个文件)
然后,把bin和lib/x64的路径加到PATH环境变量中
3)测试
在cmd窗口中输入: nvcc -V
若输出如下图,则说明安装成功
三、 搭建bert服务
1)安装bert服务端和客户端
pip install bert-serving-server #安装bert服务端
pip install bert-serving-client #安装bert客户端
2)下载预训练的模型(本文以中文bert模型为例)
进去之后可能会不知所措,请按如下步骤:
页面往下滑,找到Pre-trained models小标题,这个区域便是可以下载的包。
点击红色区域的中文包,然后下载。
3)下载之后,解压名为【chinese_L-12_H-768_A-12】的.ZIP文件
四、测试bert
1)启动bert
【注意:使用bert之前需要启动bert服务】
#在anaconda虚拟环境命令窗口中输入:
bert-serving-start -model_dir C:\Downloads\chinese_L-12_H-768_A-12 -num_worker=2
#这里的C:\Downloads\chinese_L-12_H-768_A-12是笔者的路径,请使用你自己的路径。
#其中-num_worker=2 的2表示进程数,其不能超过GPU数量。
出现以下显示,则说明启动成功!
2)运行测试
import tensorflow as tf from bert_serving.client import BertClient bc = BertClient() vec = bc.encode(['嗨 卡卡','你好世界']) print(vec)
恭喜配置成功!
更多推荐
已为社区贡献1条内容
所有评论(0)