如何解决服务到tention_ocr模型时出错“错误”:“预期一个或两个输出张量,找到17”
我正尝试在attention_ocr model镜像上为tensorflow/serving提供服务。
首先,我使用自己的数据集训练了该模型,并通过demo_inference.py
获得了不错的结果因此,我将使用export_model.py导出训练有素的模型python export_model.py --checkpoint=model.ckpt-111111 --export_dir=/tmp/mydir
然后,运行用于提供模型的docker容器。docker run -it --rm -p 8501:8501 -v /tmp/mydir:/models/aocr -e MODEL_NAME=aocr --gpus all tensorflow/serving
这是我的python客户端脚本。
data_dir = '/root/src/models/research/attention_ocr/python/datasets/data/demo/'
data_files = os.listdir(data_dir)
with open(data_dir + "0.jpg","rb") as image_file:
encoded_string = base64.b64encode(image_file.read())
## Some requests I tried ##
# predict_request = '{"examples": [{"inputs": ["%s"]}]}' % encoded_string
# predict_request = '{"examples": [{"inputs": "%s"}]}' % encoded_string
predict_request = '{"examples": [{"inputs": {"b64": ["%s"]}}]}' % encoded_string
r = requests.post('http://MY_IP_ADDR:8501/v1/models/aocr:classify',data=predict_request)
print(r.text)
结果.. "error": "Expected one or two output Tensors,found 17"
这是第一次使用tensorflow / serving。我无法处理此错误。
请帮助这个新手。.预先感谢。
解决方法
感谢您报告此问题。我代表您在Github上提交了一个错误(#9264)。问题是默认签名包括模型提供的所有端点。如果您想使用Serving的分类API,则需要修改export_model脚本,以仅导出分类API预期的2个张量(即预测和分数)。同时,您可以使用Predict API,它支持任意数量的输出张量。请注意,通过GRPC使用预测API时,您可以指定output_filter,但是RESTful API没有该选项,因此响应非常沉重,因为它会发回所有注意蒙版和原始图像。如果有人试图弄清楚如何进行推理,以下是对我有用的步骤。
- 导出模型:
wget http://download.tensorflow.org/models/attention_ocr_2017_08_09.tar.gz
tar -xzvf attention_ocr_2017_08_09.tar.gz
python model_export.py --checkpoint=model.ckpt-399731 \
--export_dir=/tmp/aocr_b1 --batch_size=1
请注意,由于--batch_size=1
中的错误,因此需要model_export.py
。发送签名问题的PR时,我会解决的。
- 运行docker容器来提供模型。
sudo docker run -t --rm -p 8501:8501 \
-v /tmp/aocr_b1:/models/aocr/1 -e MODEL_NAME=aocr tensorflow/serving
请注意,路径中必须包含版本号/models/aocr/1
。如果您未附加/1
,则服务器会抱怨找不到任何版本。
- 运行脚本
python send_serving_request.py --image_file=testdata/fsns_train_00.png
这是结果
Prediction: Rue de la Gare░░░░░░░░░░░░░░░░░░░░░░░
Confidence: 0.899479449
代码如下:
send_serving_request.py
from absl import app
from absl import flags
import base64
import json
import os
from PIL import Image
import numpy as np
import requests
import tensorflow as tf
flags.DEFINE_string('image_file',None,'Name of file containing image to request.')
def create_serialized_tf_example(image):
"""Create a serialized tf.Example proto for feeding the model."""
example = tf.train.Example()
example.features.feature['image/encoded'].float_list.value.extend(
list(np.reshape(image,(-1))))
return example.SerializeToString()
def main(_):
pil_image = Image.open(flags.FLAGS.image_file)
encoded_string = base64.b64encode(
create_serialized_tf_example(np.asarray(pil_image)))
predict_request = (
b'{"instances": [{"inputs": {"b64": "%s"}}]}') % encoded_string
r = requests.post(
'http://localhost:8501/v1/models/aocr:predict',data=predict_request)
data = json.loads(r.text)
print('Prediction:',data['predictions'][0]['predicted_text'])
print('Confidence:',data['predictions'][0]['normalized_seq_conf'])
if __name__ == '__main__':
flags.mark_flag_as_required('image_file')
app.run(main)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。