架构
由始至终本地部署
AI Server 在您控制的硬件(本地 GPU、私有云或离网实验室)上托管生成式模型。AI Client 运行于每台工作站并通过您的网络连接 AI Server。AI Admin Console 为 IT 提供统一的许可、注册、策略及审计管理界面。所有组件运行时均无需连接公网。
比较
云端 AI 对比本地 AI 套件
| 关注重点 | 公共云端 LLM | 本地 AI 套件 |
|---|---|---|
| 您的提示流向 | 传送至供应商的 API。 | 传送至您网络内的 AI Server。 |
| 您的文件流向 | 上传至供应商(或他们管理的向量数据库)。 | 留在您的存储设备;检索本地进行。 |
| 数据驻留地 | 视乎供应商所在地区 — 每份合约都要重新确认。 | 就在您部署服务器的位置。就是这样。 |
| 按字符计费 | 按调用计费,随使用量扩大。 | 硬件资本支出;边际使用成本近乎零。 |
| 离网或离线使用 | 无法做到。 | 默认支持。 |
| 审计及合规证据 | 依赖供应商报告。 | 日志及策略均存于您的 IT 环境。 |
部署及合规
为受监管环境而设
可在哪里运行
- 本地 GPU 服务器(Linux 或 Windows)。
- 您的私有云租户 — AWS、Azure、GCP 或任何其他。
- 离网或离线实验室(运行时无需联网)。
客户选择它的原因
- 数据驻留:数据实际留在您部署服务器的位置。
- 审计:日志存于您的 IT 环境,而非供应商处。
- 成本:可预测的硬件资本支出,而非按字符计费。
- 定制模型:可运行我们尚未推出的开放权重模型。
让我们详细讨论您的部署
由免费一周试点冲刺开始。我们将在范围确认电话中梳理您的硬件、安全与合规限制,随后在周五交付可运作的成果。