部署規劃工具
設計您的私有 AI 部署
為試點、團隊或具韌性的生產伺服器群建立拓撲。在建立任何雲端資源前,了解 AI Gateway、工作節點、Kubernetes 與授權如何配合。
部署輸入
即時拓撲
建議
閘道配合受管理工作節點集區
應用程式及 API 用戶端
HTTPS / OpenAI API
AI Gateway
路由、健康狀態、容錯移轉
指標、預算、稽核及模型儲存
基礎設施估算
—
軟件授權
—
每月參考總額
—
美元,未連稅
實用起點
試點
使用一個 CPU 工作節點驗證網絡、金鑰、用戶端相容性及操作。這可證明部署可行,但不代表生產推理速度。
團隊
先在 AI Gateway 後方使用兩個 GPU 工作節點。一個服務流量時可維護另一個,亦可在不改動用戶端的情況下增加容量。
生產
在不同故障域使用至少三個工作節點,配合生產控制平面 SLA、自動擴展護欄、持久模型儲存、TLS 入口及標準可觀測性工具。