一个容器化的AI Server运行在云虚拟机或任何Docker主机上,完全通过环境变量配置,具备编排器级别的健康探针和JSON日志 <a href="#ref-1">[1]</a>部署是不可变且可重复的:镜像是工件,挂载卷承载状态。每个配置项都是环境变量,镜像中不包含任何固定内容,<code>/livez</code>和<code>/readyz</code>确保负载均衡器或编排器能正确管理,而非猜测 <a href="#ref-2">[2]</a>。
镜像是工件,卷是状态
容器镜像构建可从仓库复现,每次部署的状态存储在卷中,而非镜像内 <a href="#ref-2">[2]</a>。这种分离保证了重建的安全性:您可以替换镜像而不影响模型存储、密钥或许可证状态。结构化JSON日志(<code>AISUITE_LOG_JSON=1</code>)可直接导入日志收集器。
为编排器准备的探针
<code>/livez</code>报告进程存活;<code>/readyz</code>报告准备好接收流量,且在流量排空时返回<code>503</code> <a href="#ref-2">[2]</a>将存活探针指向<code>/livez</code>,就绪探针指向<code>/readyz</code>,并设置终止宽限期不低于排空和关闭预算,滚动更新即可实现零停机且无需额外工具。
在提供服务之前必须获得许可并激活密钥
因为容器绑定了非回环地址,这属于网络服务,且守护进程在没有专业版授权和卷上至少一个API密钥的情况下会失败关闭 <a href="#ref-3">[3]</a>许可工件是由已授权安装写入的每次安装文件,不是手工编写的;免费安装设计上仅限回环使用。
集群的构建模块
网关集群是在一个网关后面运行的多个此类容器,因此同一个环境配置的镜像可以从单个VPC端点扩展到负载均衡的集群 <a href="#ref-1">[1]</a>今天为您的移动端和浏览器端提供服务的容器,就是您明天复制的工作节点。