单个 Windows、macOS 或 Linux 机器上的一个 AI Server,仅服务于该机器,是每个 AI Suite 桌面应用自动为自身创建的配置 <a href="#ref-1">[1]</a>。有意运行它可以展示该默认配置的实际情况。守护进程仅绑定<code>127.0.0.1</code>,因此网络上的其他设备无法访问;它无需密钥和许可,因为回环服务是免费的;机器上的每个应用共享同一个守护进程,这意味着内存中只有一个模型,而不是每个应用各自一份 <a href="#ref-1">[1]</a>。
网络上的任何设备都无法访问它
回环不是您可能忘记添加的防火墙规则。套接字绑定在本地接口上,因此该端点对其他机器不存在 <a href="#ref-2">[2]</a>。这是值得理解的默认状态,在任何网络配置之前:先了解本地运行的内容,然后决定要暴露什么。
一个守护进程,内存中一个模型
因为同一台机器上的应用通过其<code>server.lock</code>文件自动发现守护进程,打开第二个应用不会加载第二份模型 <a href="#ref-1">[1]</a>。聊天应用、笔记应用和 PDF 阅读器都连接到同一个正在运行的服务器和同一个已加载的模型。
用于持续集成的存根,实际用于工作
<code>stub</code> 引擎启动瞬间完成,无需下载,适合需要本地 AI 端点进行测试的持续集成代理;<code>real</code> 引擎首次使用时下载模型以进行实际推理 <a href="#ref-2">[2]</a>。健康检查和一个类似 OpenAI 的聊天补全确认其已启动。内置仪表盘显示模式徽章和您刚刚发出的请求,同一台机器上无需密钥。
无需配置
没有其他设置:无密钥、无许可、单机情况下无网络策略 <a href="#ref-1">[1]</a>。它运行在您已有的笔记本电脑上,完全离线。当您准备为多台机器提供服务时,同一守护进程会在局域网内绑定一个密钥。