办公室GPU盒子上的单台AI Server通过带API密钥认证的HTTP协议为网络上的每个工作站提供服务;团队应用指向它,而不是在本地运行模型 <a href="#ref-1">[1]</a>一块GPU服务二十台笔记本,因为模型只加载一次,所有人共享它。数据留在办公楼内,路径中没有云端AI,也没有按令牌计费,IT只需在一个地方拉取或更新模型,而不是每个桌面都操作 <a href="#ref-1">[1]</a>。
默认启用密钥,失败即关闭
网络服务是付费功能;仅环回服务器保持免费 <a href="#ref-3">[3]</a>您可以通过桌面应用或命令行在服务机器上发放API密钥;原始密钥只显示一次,服务器只存储哈希值。守护进程在无密钥时拒绝绑定非环回地址启动,这是失败即关闭的默认行为,而非需绕过的错误 <a href="#ref-2">[2]</a>未携带密钥的<code>/v1/*</code>请求返回<code>401</code>;健康检查探针保持无密钥状态以保证监控正常。
定位服务器的发现机制
工作站可在设置中AI Server项下找到该盒子:mDNS在局域网内发现,或手动添加<code>http://<server-ip>:<port></code>并粘贴密钥 <a href="#ref-2">[2]</a>每个应用在首次连接时都会固定服务器的指纹,因此后续指纹更改会在信任之前发出警告,而不是默默地重新路由流量。
您的其他工具也能使用
任何兼容 OpenAI 的工具都可以使用相同的端点:基础 URL 为 <code>/v1</code>,API 密钥作为 Bearer 令牌 <a href="#ref-1">[1]</a>匿名的第三方流量有速率限制;使用密钥的流量则不受限制。办公室采用一个端点和一个密钥策略,而不是为每个工具单独集成。
IT 运营内容
服务器自带仪表盘:活跃客户端、按应用归属的流量以及已安装模型列表,任何有密钥的办公桌均可访问 <a href="#ref-1">[1]</a>这是进入集群之前的步骤。当一台机器不再足够时,同一产品可部署在网关后端,应用无需更改。