在單一 Windows、macOS 或 Linux 機器上運行一台 AI Server,僅服務該機器,是每個 AI Suite 桌面應用程式自動為自己建立的配置 <a href="#ref-1">[1]</a>。刻意執行它即可顯示該預設實際為何。該守護程序只綁定 <code>127.0.0.1</code>,因此網絡上的其他裝置無法連接;它不需要金鑰或授權,因為迴環服務是免費的;而且機器上的每個應用程式共用同一個守護程序,意味著記憶體中只有一個模型,而非每個應用程式各自複製一份 <a href="#ref-1">[1]</a>

網絡上的任何裝置都無法連接它

迴環並非您可能忘記新增的防火牆規則。該連接端點綁定於本地介面,因此對其他機器而言不存在該端點 <a href="#ref-2">[2]</a>。這是值得理解的預設狀態,應在任何刻意網絡連接前先了解:知道本地運行的內容,然後決定要暴露什麼。

一個守護程序,一個記憶體中的模型

因為同一台機器上的應用程式會透過其 <code>server.lock</code> 檔案自動發現守護程序,開啟第二個應用程式不會載入第二份模型 <a href="#ref-1">[1]</a>。聊天應用程式、筆記應用程式和 PDF 閱讀器都連接到同一個正在運行的伺服器和同一個已熱啟動的模型。

CI 用的 Stub,工作用的 Real

<code>stub</code> 引擎即啟即用,無需下載,適合需要本地 AI 端點作測試的 CI 代理;<code>real</code> 引擎首次使用時會下載模型以進行實際推理 <a href="#ref-2">[2]</a>。健康檢查及模仿 OpenAI 的聊天完成確認系統已啟動。內置儀表板顯示模式標籤及剛才的請求,同一部機器上無需密鑰。

無需配置

無需其他設定:無密鑰、無授權、單機情況下無網絡政策 <a href="#ref-1">[1]</a>。可在你現有的手提電腦上完全離線運行。當你準備為多部機器提供服務時,同一守護程序會在局域網綁定並需密鑰。