為團隊而設的私有 AI 平台。一部伺服器運行模型 — 每個應用程式、每部裝置直接使用它們。AI Server 從你自己的硬件出發，透過與 OpenAI 相容的 API，向整個 AI Suite 以及任何相容工具提供聊天、嵌入、圖像生成、語音和視覺能力。
在你自己的機器上免費開始。當團隊壯大時，為你的網絡提供服務；當一部機器不夠用時，AI Gateway 模式會把多部伺服器變成單一的負載平衡端點 — 無論是在你的區域網絡、Docker 還是 Kubernetes 上。任何環節都不會有供應商雲端進入資料路徑。
沒有伺服器時，每部電腦都要下載自己的模型、需要自己的 GPU，並且要單獨設定和更新。有了 AI Server，模型只需下載一次，在你擁有的最佳硬件上運行，並為所有人提供服務。
與 OpenAI 相容的端點，涵蓋聊天、嵌入、圖像生成、語音轉文字（包括即時串流）、文字轉語音、語音複製和視覺 — 全部由你的硬件提供。將任何相容工具或你自己的程式碼指向它即可。
每個 AI Suite 應用程式都會發現該伺服器並把 AI 工作卸載給它 — 零設定。筆記、PDF、翻譯、聽寫、圖像、電郵等等，全部在一部機器上共用同一組模型。
具備按金鑰方案的 API 金鑰、速率限制、配額與預算、按應用程式和模型的使用分析，以及具簽署匯出的無內容審計日誌。IT 期望的各項管控，毋須雲端供應商介入。
撥動一個開關，多部伺服器即成為單一端點：經健康檢查的負載平衡、優先選擇已預熱該模型的機器的模型感知路由、金絲雀發布，以及零停機升級。
為枱底機器而設的桌面應用程式；為機架或雲端而設的容器、Kubernetes 資訊清單和 Helm chart。相同的產品、相同的 API、相同的授權 — 由一部手提電腦到一整個 GPU 農場。
每部伺服器都自備即時儀表板和原生 Prometheus 指標：一眼即可掌握叢集健康、延遲、使用情況和容量 — 毋須額外的監控堆疊即可上手。
AI Gateway 就是以農場前端模式運行的 AI Server。用戶端連接它的方式與連接單一 AI Server 完全相同；在它背後，一組工作伺服器（worker）執行實際推論。加入一部機器，容量隨之增長；為維護而下線一部時，流量會平順排走 — 不會丟棄任何人的請求。
在 Kubernetes 上，worker 會在擴縮時被自動發現，因此自動擴縮的農場毋須手動編輯池。整個叢集仍可透過內置儀表板和 Prometheus 指標進行觀測。
免費層是一款真正的產品，而非試用：一部完整的本機 AI 伺服器，永久為你自己機器上的所有 AI Suite 應用程式服務。付費層恰好由價值跨越機器邊界之處開始。
在你自己機器上的一部完整本機 AI 伺服器。該機器上的每個 AI Suite 應用程式都可無限使用；通用的 OpenAI 相容用戶端會受到速率限制。
跨網絡為你自己的裝置提供服務：區域網絡服務、作為作業系統服務運行、為手提電腦和手機提供 API 金鑰、無限的通用用戶端，以及一個小型閘道池。
為他人提供服務：商業用途、無限 API 金鑰、完整管治（配額、預算、審計簽署），以及具金絲雀發布和自動 worker 發現的生產級閘道農場。
無限規模的部署、透過 AI Admin Console 進行組織註冊、離線與氣隙運行，以及優先支援。按部署規模授權 — 歡迎與我們聯絡。
可從相應應用程式商店免費安裝應用程式。直接購買 Personal 或 Commercial 訂閱後，您將獲得一個可用於所有受支援平台的產品金鑰。
集中管理昂貴模型及管治，同時讓各團隊繼續使用熟悉的應用程式及 OpenAI 相容工具。
先在一部機器證明實用價值及私隱邊界，再加入更多使用者、政策或伺服器叢集。
選定一項有明確範圍的任務，例如私密聊天、文件問答、翻譯或轉錄，以及負責評估的人員。
按預期內容長度、回應時間及同時使用人數選擇模型與機器。先以 CPU 驗證；工作負載有需要時再加入 GPU 容量。
確認允許哪些客戶端、模型、日誌及網絡路徑，並把提示及檔案保留在你選定的邊界內。
轉為網絡服務、API 金鑰及配額；當需求足夠，再把環境登記到 AI Admin Console 或加入 AI Gateway 工作節點。
AI Server 已在 Microsoft Marketplace 及 AWS Marketplace 以免費／BYOL Kubernetes 應用程式提供。雲端基礎設施由供應商收費；同一個 AI Server Commercial 或 Enterprise 授權可啟用閘道及工作節點。
將認證 Kubernetes 應用程式安裝到現有 AKS 叢集。先以 CPU 節點驗證部署，再為實際推理工作加入 NVIDIA GPU 工作節點。
在 Microsoft Marketplace 尋找從 AWS Marketplace 將 Helm 套件部署至 Amazon EKS。小型系統節點集區配合獨立 GPU 工作節點，可保持叢集服務穩定並方便擴展推理容量。
在 AWS Marketplace 尋找AI Server 並非通往雲端 API 的代理。模型在你的硬件上運行；請求在你的範圍內，由你的應用程式前往你的伺服器再返回。離線與氣隙運行是受支援的部署模式，而非特殊例外。
如需部署協助、規模建議、Kubernetes 相關問題或授權查詢，請寫信至 [email protected] — 或使用聯絡表單並選擇「產品」。