弹性推理服务模型管理

滴滴云技术支持发表于:2018年12月26日 11:30:49更新于:2019年06月14日 15:15:04

滴滴云弹性推理服务(EIS)通过部署深度学习模型文件生成推理服务,每个用户都有一个专属的模型空间,您可在模型空间下创建专属的模型。模型是同类模型文件的集合,同一模型下有不同版本的模型文件,可实现推理服务的在线升级、弹性扩容和容灾。

模型

您可以创建、编辑或删除模型空间下的模型。

创建模型

0015c22f514d7862daa34c99b9415a2

创建模型时,需要为模型指定一个名称,在同一模型空间下模型名称不能重复。

您还需要输入模型的model spec。model spec将体现在调用推理服务API时的请求内容中,升级模型不会更改模型的model spec。model sepc只接受英文、数字和一些特殊字符,建议您输入有意义的英文单词或词组。

框架是指您训练模型时选用的框架版本,滴滴云弹性推理服务(EIS)目前支持TensorFlow1.5 ~ TensorFlow1.10。

编辑/删除模型

您可以编辑模型的名称和备注信息。

删除模型时,您需要先删除模型下所有版本的模型文件。

模型文件

您可以上传、编辑和删除模型文件。

上传模型文件

0015c22f54e879034c09f5658ec4366

滴滴云弹性推理服务(EIS)支持从滴滴云对象存储(S3)中上传模型文件。您需要先将模型文件上传到滴滴云对象存储(S3),然后获取模型文件的URL,并在上传模型文件对话框中输入。

滴滴云弹性推理服务支持通过主流压缩工具压缩的模型文件,支持的文件格式包括 tar、tar.gz、tar.bz2、tgz、zip。模型文件的目录格式需遵循以下规范:

image.png

【注:要求压缩格式解压后的文件夹存在一个顶级目录(图上的mnist_model),里面只有一个数字目录(图上的1),里面是模型导出的pb和variables文件】

压缩过程:

 (1) 导出模型,确保目录是一个顶级目录(图上的mnist_model),里面只有一个数字目录(图上的1),里面是模型导出的pb和variables文件

 (2) 压缩目录,建议用tar.gz格式,命令见上图

 (3) 查看目录的结构, tar ztf xxx.tar.gz,和上图保持一致


tensorflow框架的模型导出详见 https://www.tensorflow.org/tfx/serving/serving_basic

如何将文件上传请参见https://help.didiyun.com/hc/kb/section/1042689/

如何获取模型文件在S3中的URL请参见https://help.didiyun.com/hc/kb/article/1220556/

版本号是对模型文件的版本标识,您可依据模型文件升级推理服务。

编辑/删除模型文件

您可修改模型文件的版本和备注信息。

删除模型文件时,需先将通过该模型文件创建的推理服务删除。