辦公室 GPU 伺服器上的單一 AI Server 通過帶有 API 金鑰認證的 HTTP 為網絡上的每個工作站提供服務;團隊應用程式指向該伺服器,而非在本地運行模型 <a href="#ref-1">[1]</a>一台 GPU 可服務二十台筆記型電腦,因為模型只載入一次,所有人共享使用。數據留在大樓內,路徑中沒有雲端 AI,也沒有按 token 計費,IT 部門只需在一處拉取或更新模型,而非每張桌子都要操作 <a href="#ref-1">[1]</a>

預設使用金鑰,失敗即關閉

網絡服務為付費功能;僅限迴環介面的伺服器保持免費 <a href="#ref-3">[3]</a>您可從桌面應用程式或命令列介面在服務機器上發行 API 金鑰;原始金鑰只顯示一次,伺服器僅儲存其雜湊值。若無金鑰,守護程序拒絕在非迴環介面綁定啟動,這是失敗即關閉的預設行為,而非錯誤繞過 <a href="#ref-2">[2]</a>未帶金鑰的 <code>/v1/*</code> 請求會返回 <code>401</code>;健康檢查探測保持無需金鑰,以確保監控正常運作。

定位伺服器的發現機制

工作站可在設定中於 AI Server 項目下找到伺服器:mDNS 可在局域網內發現,或您可新增 <code>http://&lt;server-ip&gt;:&lt;port&gt;</code> 並貼上金鑰 <a href="#ref-2">[2]</a>每個應用程式在首次連接時會固定伺服器的指紋,因此指紋日後若有更改,會在信任之前發出警告,而非靜默地重新導向流量。

你的其他工具也適用

任何兼容 OpenAI 的工具都可以使用相同的端點:基本 URL 為 <code>/v1</code>,API 金鑰作為承載令牌 <a href="#ref-1">[1]</a>匿名第三方流量有速率限制;使用金鑰的流量則無。辦公室只維持一個端點和一套金鑰政策,而非每個工具分別整合。

IT 運作的內容

伺服器自帶儀表板:顯示活躍客戶端、按應用程式歸屬的流量及已安裝模型清單,任何有金鑰的工作桌均可存取 <a href="#ref-1">[1]</a>這是邁向叢集的前一步。當一台機器不敷使用時,同一產品可移至閘道器後方,應用程式無需更改。