【摘要】 Tensorflow Serving 是tf模型持久化的重要工具,本篇介绍如何通过Docker compose搭建并调试TensorFlow Serving

TensorFlow Serving GitHub地址:

https://github.com/tensorflow/serving

建立docker-compose 文件目录

在serving下建立docker-compose.yml文件。

 

一、下载安装测试TensorFlow Serving正常运行

拉取最近版本的docker

二、用tensorflow训练模型并导出model文件

(https://www.tensorflow.org/guide/saved_model#prepare_serving_inputs)

首先将训练好的模型导出为*.pd的model文件。

导出model文件后,记录model的存放地址<export path>

模型查看

saved_model_cli show --dir <export path> --all

三、使用serving

(https://github.com/tensorflow/serving/blob/master/tensorflow_serving/g3doc/serving_config.md)

单模型测试及演示POST请求。介绍JSON设计

docker-compose.yml文件示例:

.env 文件配置

单模型部署和多模型部署:

models.config文件示例:

https://www.tensorflow.org/tfx/tutorials/serving/rest_simple

成功部署多模型多版本tensorflow serving

 

请求模板:

{

  "signature_name": "predict",

  "instances": [

    {

      "SepalLength": 

        5.1,

      "PetalLength": 

        1.7,

      "PetalWidth": 

        0.5,

      "SepalWidth": 

        3.3

    }

  ]

}

返回模板:

{

  "predictions": [

    {

      "classes": [(分类名)

        "0"

      ],

      "logits": [

        -3.47067

      ],

      "logistic": [

        0.0301584

      ],

      "class_ids": [(分类ID)

        0

      ],

      "probabilities": [(分类概率)

        0.969842,

        0.0301584

      ]

    }

  ]

}

来源:华为云社区  作者:Edison

 

 

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐