AI Server

面向团队的私有 AI 平台。一台服务器运行模型 — 每个应用、每台设备直接使用它们。AI Server 从你自己的硬件出发,通过与 OpenAI 兼容的 API,向整个 AI Suite 以及任何兼容工具提供聊天、嵌入、图像生成、语音和视觉能力。

在你自己的机器上免费开始。当团队壮大时,为你的网络提供服务;当一台机器不够用时,AI Gateway 模式会把多台服务器变成单一的负载均衡端点 — 无论是在你的局域网、Docker 还是 Kubernetes 上。任何环节都不会有厂商云进入数据路径。

在 Microsoft Store 获取 看看它能做什么 ↓ 许可与价格

AI SERVER 的作用

一次部署,驱动一切

没有服务器时,每台电脑都要下载自己的模型、需要自己的 GPU,并且要单独配置和更新。有了 AI Server,模型只需下载一次,在你拥有的最佳硬件上运行,并为所有人提供服务。

通用 AI API

与 OpenAI 兼容的端点,涵盖聊天、嵌入、图像生成、语音转文本(包括实时流式)、文本转语音、语音克隆和视觉 — 全部由你的硬件提供。将任何兼容工具或你自己的代码指向它即可。

驱动整个 AI Suite

每个 AI Suite 应用都会发现该服务器并把 AI 工作卸载给它 — 零配置。笔记、PDF、翻译、听写、图像、电子邮件等等,全部在一台机器上共享同一组模型。

内置治理

带有按密钥计划的 API 密钥、速率限制、配额与预算、按应用和模型的使用分析,以及带签名导出的无内容审计日志。IT 期望的各项管控,无需云厂商介入。

借助 AI Gateway 扩展

拨动一个开关,多台服务器即成为单一端点:经健康检查的负载均衡、优先选择已预热该模型的机器的模型感知路由、金丝雀发布,以及零停机升级。

随处运行

面向桌下机器的桌面应用;面向机架或云的容器、Kubernetes 清单和 Helm chart。相同的产品、相同的 API、相同的许可 — 从一台笔记本到一整个 GPU 农场。

为可观测而设计

每台服务器都自带实时仪表板和原生 Prometheus 指标:一眼即可掌握集群健康、延迟、使用情况和容量 — 无需额外的监控栈即可上手。

AI GATEWAY

从一台服务器到一整个农场 — 无需改动任何一个客户端

AI Gateway 就是以农场前端模式运行的 AI Server。客户端连接它的方式与连接单台 AI Server 完全相同;在它背后,一组工作服务器(worker)执行实际推理。添加一台机器,容量随之增长;为维护而下线一台时,流量会平滑排空 — 不会丢弃任何人的请求。

在 Kubernetes 上,worker 会在扩缩容时被自动发现,因此自动伸缩的农场无需手动编辑池。整个集群仍可通过内置仪表板和 Prometheus 指标进行观测。

Gateway 为你处理的事项

  • 负载均衡 — 轮询、最低延迟、最少连接、加权,或按客户端粘性。
  • 模型感知路由 — 请求会发往已预热所请求模型的机器。
  • 故障转移 — 出故障的 worker 会在客户端察觉之前,在一台健康的机器上重试。
  • 金丝雀发布 — 在完全信任新机器之前,向其发送稳定比例的流量。
  • 背压 — 当每个 worker 都饱和时,调用方会收到诚实的“请稍后重试”,而不是超时。
  • 零停机升级 — 排空一台 worker,升级它,再放回池中。
版本与层级

免费起步。随团队成长而扩展。

免费层是一款真正的产品,而非试用:一台完整的本地 AI 服务器,永久为你自己机器上的所有 AI Suite 应用服务。付费层恰好从价值跨越机器边界之处开始。

免费

在你自己机器上的一台完整本地 AI 服务器。该机器上的每个 AI Suite 应用都可无限使用;通用的 OpenAI 兼容客户端会受到速率限制。

Pro Personal

跨网络为你自己的设备提供服务:局域网服务、作为操作系统服务运行、为笔记本和手机提供 API 密钥、无限的通用客户端,以及一个小型网关池。

Pro Commercial

为他人提供服务:商业用途、无限 API 密钥、完整治理(配额、预算、审计签名),以及带金丝雀发布和自动 worker 发现的生产级网关农场。

Enterprise

无限规模的部署、通过 AI Admin Console 进行组织注册、离线与气隙运行,以及优先支持。按部署规模授权 — 欢迎与我们联系。

架构层面的隐私

你的提示词永远不会离开你的网络 — 因为它们无处可去

AI Server 不是通往云 API 的代理。模型在你的硬件上运行;请求在你的边界内,从你的应用前往你的服务器再返回。离线与气隙运行是受支持的部署模式,而非特殊例外。

  • 数据路径中没有厂商云。提示词、文档和生成内容始终停留在你的客户端与服务器之间。
  • 无内容记录。使用分析和审计日志只记录谁在何时调用了什么 — 绝不记录提示词或响应的文本。
  • 故障安全的许可机制。即便我们的许可服务偶尔无法访问,你已授权的机群仍会继续服务。你的可用性不取决于我们的可用性。
  • 你的密钥,你的规则。API 密钥由你在你自己的服务器上签发和吊销 — 而不是在别人云中的账户。

对 AI Server 或 AI Gateway 有疑问?

如需部署帮助、规模建议、Kubernetes 相关问题或许可咨询,请写信至 [email protected] — 或使用联系表单并选择“产品”。

订阅产品更新

全新免费 AI 产品、重大更新,以及仅在本网站发布的新版本。绝无垃圾信息。