算力與端側競賽
這兩天的焦點很清晰:一邊是大型模型持續搶算力、拼服務上限;另一邊是端側 AI 正在悄悄進入你每天用的工具。對香港團隊而言,關鍵不只性能,更是成本、容量與治理能否跟上。
算力合作把「可用性」拉上來
大型模型愈來愈像雲端基建,沒有穩定算力就談不上產品體驗。最新動向是某模型供應商宣布新增大規模算力合作,並同步上調開發工具與 API 的使用限制,目標是減少尖峰時段卡頓,讓專業用戶與企業團隊能更連續地跑程式、做自動化與長任務。
對企業使用者來說,這代表採購評估要多看一項:不只是單次推理價格,而是「高峰時段是否能保證吞吐」及「限制規則是否可預期」。若你正把生成式 AI 放進客服、內容、內部知識庫或程式開發流程,建議把流量尖峰與備援方案納入設計。
端側模型落地,儲存與管控變成新課題
另一邊,瀏覽器開始把小型模型放到本機來跑,主打更私隱與更即時的體驗。不過報導指出,某些本機 AI 功能會下載模型權重檔,最高可能佔用約 4GB 儲存空間。這類「看不見的下載」對 IT 管理與終端設備配置會帶來實際影響。
如果公司採用受管裝置或 VDI,端側模型可能影響映像檔大小、更新策略與合規設定。建議先盤點哪些功能會自動啟用、能否集中管控,並把儲存與網絡流量納入部署前測試,避免日後大量裝置同時更新造成負擔。
開源與企業平台同步加速
同時,大型雲服務商把「代理式工作流程」推向企業,推出可用來建立與治理代理的企業平台,並回顧最新開源模型與專用加速器的進展。這類平台化訊號意味著 AI 導入正從單點工具,走向可管理、可審計、可擴展的生產系統。
對香港中小企與市場營銷團隊而言,策略可以更務實:先用開源或低門檻工具做出可量化的流程改善,再逐步把權限、日誌、資料邊界與成本監控加上去。當工具鏈成熟,你才有能力把 AI 從「試玩」變成可持續的工作習慣。
總結來看,算力供應決定了雲端模型的穩定度,端側模型則把 AI 推近每個人的日常。接下來一季,最有競爭力的團隊,往往不是最早用上新模型,而是最早把容量、成本與治理做成標準流程的人。