為何我們以可安裝二進制檔交付 AI,而非雲端 SaaS
本地推理、客戶掌控的審計,以及一套早已存在的採購流程。Software Tailor 的 AI 產品之所以是桌面安裝程式而非我們雲端中的一個租戶,有三個結構性原因。
AI Suite 系列大多數產品都安裝於用戶自己的機器上。沒有租戶,沒有用以把守推理引擎存取權的雲端登入。桌面應用程式與本地的 aisuite-server 進程對話,而該進程再與裝置上的模型,或運行於客戶網絡內、由客戶掌控的 AI Server 對話。這個選擇 —— 桌面安裝程式而非 SaaS —— 是經過深思熟慮的,而背後的原因值得白紙黑字寫下來。
原因 1:受規管的買家不能將生產提示詞放於別人的雲端
自 2024 年生效的 EU AI Act 將大量企業工作流程歸類為「高風險」,並於部署者身上施加紀錄保存、人類監督及數據處理義務 [1]。OECD 成員國之間存在等效或平行的框架 [2],美國聯邦機構在採購 AI 系統時則依照 NIST AI Risk Management Framework 行事 [3]。這些框架沒有一個禁止雲端 AI;它們要求部署者能夠即時並按每一次請求展示有甚麼被送往何處、收到甚麼回來。
在實務上,這項要求與現今雲端 LLM API 的運作方式有所衝突。一位製藥公司的合規主管,即使該 SaaS 在合約上符合 GDPR,亦無法為涉及病人識別資料的工作流程從第三方 SaaS 抽取按提示詞的審計軌跡。他們需要提示詞與回應永不離開他們所擁有的網絡。最乾淨的方法,就是以客戶於自己邊界內運行的二進制檔形式交付該 AI —— 而這正是我們所做的。
這並不是假設性的買家。我們自 2007 年起服務的客戶群,包括六家橫跨製藥、金融、政府、法律、國防與能源行業的《財富》世界 500 強機構 [4]。當中每個行業都至少有一個工作流程,而「推理在哪裏發生?」的答案,決定了採購對話能否啟動。
原因 2:可安裝二進制檔貼合企業實際的軟件採購方式
大型 IT 機構對桌面應用程式的採購流程已了然於胸。應用程式經打包,透過 SCCM 或 Intune 或 Jamf 分發,受與 Microsoft Office 相同的群組原則管治,並於筆記型電腦退役時移除。採購、安全審查及終端使用者運算對此都有數十年歷史的流程。AI Suite 可直接套入。
相對而言,雲端 SaaS 需要一套平行的流程:按租戶基礎的供應商風險審查、身份聯邦對話、對供應商姿態的持續審計,以及在出事時就誰的義務涵蓋甚麼進行不斷的協商。對某些類型的軟件而言是有用的,但對我們客戶正在建構的這類 AI 工作流程而言,並不合適。
透過交付向客戶自家身份提供者驗證的可安裝應用程式 —— 透過 OpenID Connect 對接 Microsoft Entra ID 或 Google Workspace —— 並且除組織名冊及管理動作的審計日誌外,不於我們的伺服器上儲存任何東西,我們把採購對話放回它早已知道如何處理的盒子裏。
原因 3:自 2007 年以來零項目失敗,有賴於不依賴他人的服務時間
我們交付定制軟件已 19 年,並有自 2007 年以來零項目失敗的紀錄 [4]。這份紀錄之所以存在,是因為團隊掌控交付的每一層:程式碼、構建、測試、部署成品。一旦我們讓客戶的生產工作流程依賴另一家公司的雲端持續可用,這份紀錄便不再屬於我們所能捍衛的範圍。
雲端 AI 供應商會停機,會限流,會改價,會棄用模型,會棄用整個 API。我們在製藥及國防領域服務的客戶,不能因為一個他們並不擁有的模型端點被遷移,而令他們長達一年的監管案件停滯。所以我們不會將他們放在這種端點上。模型住在客戶的機器,推理發生於客戶的機器,而我們基礎設施上唯一存在的,是他們用以管理自身部署的輕量級管理介面。
這對評估意味着甚麼
如果你是合規主管、CIO 或 CTO,正評估用於企業部署的本地 AI,相關問題會與雲端 SaaS 評估有所不同:
- 推理在哪裏發生?在用戶裝置上,或在客戶掌控的伺服器上,而不是在我們的伺服器上。
- 有甚麼離開邊界?只有組織名冊與管理動作。沒有提示詞、沒有回應、沒有文件內容。
- 審計軌跡是甚麼?不含內容的 JSONL,本地儲存,可匯出。模型永不接觸未獲指示處理的內容,而審計列則完全不接觸任何內容。
- 如果供應商消失了會怎樣?客戶安裝的二進制檔繼續運作。他們所註冊的本地 AI Server 繼續服務。毋須重新平台化。
這四個問題正是我們建構 AI Admin Console 與 Local AI Suite 所要乾淨地回答的。EU AI Act 合規與本地部署一文則更深入涵蓋法規層面。
參考資料
- European Commission。「AI Act — Regulatory framework on AI。」digital-strategy.ec.europa.eu。檢索於 2026-06-15。
- OECD AI Policy Observatory。「National AI policies。」oecd.ai。檢索於 2026-06-15。
- NIST。「AI Risk Management Framework (AI RMF 1.0)。」nist.gov/itl/ai-risk-management-framework。檢索於 2026-06-15。
- Software Tailor。「Past clients。」softwaretailor.com/past-clients.htm。檢索於 2026-06-15。
相關文章
在真實工作負載上評估同一套方法。
免費的 1-week 試行會走過客戶的一份真實工作 —— 本地推理、客戶掌控的身份驗證、客戶掌控的審計。