滴滴云弹性推理服务(EIS)通过部署深度学习模型文件生成推理服务,每个用户都有一个专属的模型空间,您可在模型空间下创建专属的模型。模型是同类模型文件的集合,同一模型下有不同版本的模型文件,可实现推理服务的在线升级、弹性扩容和容灾。
模型
您可以创建、编辑或删除模型空间下的模型。
创建模型
创建模型时,需要为模型指定一个名称,在同一模型空间下模型名称不能重复。
您还需要输入模型的model spec。model spec将体现在调用推理服务API时的请求内容中,升级模型不会更改模型的model spec。model sepc只接受英文、数字和一些特殊字符,建议您输入有意义的英文单词或词组。
框架是指您训练模型时选用的框架版本,滴滴云弹性推理服务(EIS)目前支持TensorFlow1.5 ~ TensorFlow1.10。
编辑/删除模型
您可以编辑模型的名称和备注信息。
删除模型时,您需要先删除模型下所有版本的模型文件。
模型文件
您可以上传、编辑和删除模型文件。
上传模型文件
滴滴云弹性推理服务(EIS)支持从滴滴云对象存储(S3)中上传模型文件。您需要先将模型文件上传到滴滴云对象存储(S3),然后获取模型文件的URL,并在上传模型文件对话框中输入。
滴滴云弹性推理服务支持通过主流压缩工具压缩的模型文件,支持的文件格式包括 tar、tar.gz、tar.bz2、tgz、zip。模型文件的目录格式需遵循以下规范:
【注:要求压缩格式解压后的文件夹存在一个顶级目录(图上的mnist_model),里面只有一个数字目录(图上的1),里面是模型导出的pb和variables文件】
压缩过程:
(1) 导出模型,确保目录是一个顶级目录(图上的mnist_model),里面只有一个数字目录(图上的1),里面是模型导出的pb和variables文件
(2) 压缩目录,建议用tar.gz格式,命令见上图
(3) 查看目录的结构, tar ztf xxx.tar.gz,和上图保持一致
tensorflow框架的模型导出详见 https://www.tensorflow.org/tfx/serving/serving_basic
如何将文件上传请参见https://help.didiyun.com/hc/kb/section/1042689/
如何获取模型文件在S3中的URL请参见https://help.didiyun.com/hc/kb/article/1220556/
版本号是对模型文件的版本标识,您可依据模型文件升级推理服务。
编辑/删除模型文件
您可修改模型文件的版本和备注信息。
删除模型文件时,需先将通过该模型文件创建的推理服务删除。