面向团队的私有 AI 平台。一台服务器运行模型 — 每个应用、每台设备直接使用它们。AI Server 从你自己的硬件出发,通过与 OpenAI 兼容的 API,向整个 AI Suite 以及任何兼容工具提供聊天、嵌入、图像生成、语音和视觉能力。
在你自己的机器上免费开始。当团队壮大时,为你的网络提供服务;当一台机器不够用时,AI Gateway 模式会把多台服务器变成单一的负载均衡端点 — 无论是在你的局域网、Docker 还是 Kubernetes 上。任何环节都不会有厂商云进入数据路径。
没有服务器时,每台电脑都要下载自己的模型、需要自己的 GPU,并且要单独配置和更新。有了 AI Server,模型只需下载一次,在你拥有的最佳硬件上运行,并为所有人提供服务。
与 OpenAI 兼容的端点,涵盖聊天、嵌入、图像生成、语音转文本(包括实时流式)、文本转语音、语音克隆和视觉 — 全部由你的硬件提供。将任何兼容工具或你自己的代码指向它即可。
每个 AI Suite 应用都会发现该服务器并把 AI 工作卸载给它 — 零配置。笔记、PDF、翻译、听写、图像、电子邮件等等,全部在一台机器上共享同一组模型。
带有按密钥计划的 API 密钥、速率限制、配额与预算、按应用和模型的使用分析,以及带签名导出的无内容审计日志。IT 期望的各项管控,无需云厂商介入。
拨动一个开关,多台服务器即成为单一端点:经健康检查的负载均衡、优先选择已预热该模型的机器的模型感知路由、金丝雀发布,以及零停机升级。
面向桌下机器的桌面应用;面向机架或云的容器、Kubernetes 清单和 Helm chart。相同的产品、相同的 API、相同的许可 — 从一台笔记本到一整个 GPU 农场。
每台服务器都自带实时仪表板和原生 Prometheus 指标:一眼即可掌握集群健康、延迟、使用情况和容量 — 无需额外的监控栈即可上手。
AI Gateway 就是以农场前端模式运行的 AI Server。客户端连接它的方式与连接单台 AI Server 完全相同;在它背后,一组工作服务器(worker)执行实际推理。添加一台机器,容量随之增长;为维护而下线一台时,流量会平滑排空 — 不会丢弃任何人的请求。
在 Kubernetes 上,worker 会在扩缩容时被自动发现,因此自动伸缩的农场无需手动编辑池。整个集群仍可通过内置仪表板和 Prometheus 指标进行观测。
免费层是一款真正的产品,而非试用:一台完整的本地 AI 服务器,永久为你自己机器上的所有 AI Suite 应用服务。付费层恰好从价值跨越机器边界之处开始。
在你自己机器上的一台完整本地 AI 服务器。该机器上的每个 AI Suite 应用都可无限使用;通用的 OpenAI 兼容客户端会受到速率限制。
跨网络为你自己的设备提供服务:局域网服务、作为操作系统服务运行、为笔记本和手机提供 API 密钥、无限的通用客户端,以及一个小型网关池。
为他人提供服务:商业用途、无限 API 密钥、完整治理(配额、预算、审计签名),以及带金丝雀发布和自动 worker 发现的生产级网关农场。
无限规模的部署、通过 AI Admin Console 进行组织注册、离线与气隙运行,以及优先支持。按部署规模授权 — 欢迎与我们联系。
AI Server 不是通往云 API 的代理。模型在你的硬件上运行;请求在你的边界内,从你的应用前往你的服务器再返回。离线与气隙运行是受支持的部署模式,而非特殊例外。
如需部署帮助、规模建议、Kubernetes 相关问题或许可咨询,请写信至 [email protected] — 或使用联系表单并选择“产品”。