前兩篇談完AI Agent 的成本結構與外部 API 的三個結構性風險之後，很多企業會得到一個結論：那就自己買 GPU。接著發生的事通常是這樣的：資訊部門拿到一張八卡伺服器的報價單，總務發現機房的電力與空調撐不住，財務問三年攤提怎麼算，採購問交期，最後案子停在「再評估」。
品得網絡在協助企業評估自建路線時，看到的失敗案例幾乎都不是「買錯 GPU」，而是買了 GPU 之後才發現算力沒有變成可以用的服務。這篇文章把自建 AI 基礎設施的四道關卡攤開，每一道都附上目前務實的破解方法。目的不是勸貴司買或不買，而是讓評估建立在正確的問題上。
關卡一：供電與散熱，機房條件決定了能買什麼
先講最物理的一關。上一代主流的 H100 與 H200，單卡熱設計功耗是 700 瓦。現行的 B200 拉到 1000 瓦，增加超過四成。一台八卡伺服器加上 CPU、記憶體、網路，整機功耗輕易超過 10 千瓦。高密度機櫃配置在 B200 世代實質上需要液冷，傳統氣冷機房要塞進這種機器，要不就是一個機櫃只放一台，要不就是先改造機房。
這對台灣的大型醫院與製造業特別現實。醫院機房多半在院區大樓內，電力與空調是跟臨床系統共用的，不可能為了 AI 讓病歷系統的備援打折。製造業的機房常常在廠區，環境溫濕度與粉塵本來就是挑戰。銀行的資料中心條件較好，但變更管理的流程長，改造機房不是資訊處自己能決定的事。
破解法：先量機房，再選 GPU，順序不能反。先確認現有機櫃能供多少電、散多少熱，這個數字決定了貴司能放什麼等級的機器。推論負載通常不需要最頂規的訓練卡，記憶體足夠、功耗較低的推論導向機種往往更適合既有機房。另一條路是把第一批設備放在具備液冷條件的主機代管機房，資料仍在台灣境內、仍在貴司的控制範圍內，但不必先改造自己的機房。
關卡二：GPU 使用率，買到的算力大部分時間在閒置
這是最少被討論、卻最傷的一關。企業推論負載的形狀是「白天尖峰、夜間低谷、偶爾突發」，而 GPU 的成本是二十四小時在跑的。公開的產業觀察一致指出，企業自建 GPU 的平均使用率長期偏低，很多環境的實際數字只有兩三成。這代表貴司花的每一塊錢，有七成在買閒置。
使用率低的原因不是 GPU 太多，而是沒有把 GPU 當成共用資源來排程。常見的情況是每個專案、每個部門各自申請一台，各自在自己的機器上跑自己的模型，彼此的尖峰與低谷完全沒有互補。
破解法有三層。第一層是集中管理與排程，讓多個團隊共用同一批 GPU，用配額與優先權取代各自佔用。第二層是把不急的工作推到低谷，夜間對帳、報表生成、文件批次處理都可以排到離峰時段，把使用率曲線填平。第三層是推論架構本身的優化：現行的推論框架已經可以把模型推論的兩個階段（讀取提示與逐字生成）分配到不同的 GPU 池，並且共用重複前綴的快取，同樣的硬體可以承載明顯更多的請求。這一層的技術細節留到下一篇。
關卡三：三年攤提撞上世代更替
財務部門會問：這批設備攤提幾年？慣例是三到五年。問題是 GPU 世代更替的速度遠快於此。B200 在推論吞吐量上大約是 H100 的 2.5 到 3 倍，而兩者相隔不過兩年多。更新的 B300 從 2025 年底開始出貨。貴司今天買的機器，在攤提期的第三年很可能已經是兩個世代前的產品，同樣的電力與機櫃空間，換新機能跑三倍的量。
這不代表自建不划算，而是代表「一次買足三年的量」是最差的採購策略。買多了，前兩年在養閒置，第三年又落後。
破解法：分階段擴充，第一批只買「不能出去的那部分」。依上一篇的資料分級，先算出哪些流程因為法規或機密性必須在境內處理，第一批 GPU 只承載這部分，規模通常比想像中小很多。可以出去的流量繼續走外部 API，等第一批的使用率與成本數據跑出來，再決定第二批要不要買、買什麼。這樣每一批採購都建立在真實的使用數據上，而不是預估。
關卡四：交期與規格，報價單上的「有貨」不一定是貴司要的貨
2026 年的供應狀況比前兩年好，B200 的供應持續改善，但最新世代仍然吃緊。實務上更常出問題的不是「有沒有貨」，而是規格細節：同樣叫做八卡伺服器，卡與卡之間的互連方式、記憶體容量、網路介面、是否支援貴司要用的虛擬化或容器平台，都會影響能不能跑貴司要的負載。
對政府機關與公立醫院，還多一層採購程序的時間。從編列預算到設備進機房，一年是常態。這段時間內模型世代與推論框架都會換好幾輪。
破解法：規格書寫「要跑什麼」而不是「要買什麼」。採購規格應該描述目標負載：要同時服務多少請求、模型參數規模、可接受的回應延遲、必須支援的平台。讓供應商依這些條件提出配置，並且要求在驗收時用貴司自己的負載實測，而不是用供應商的基準測試數字。這樣的規格書在採購程序中也更站得住腳，因為驗收標準是可量測的。
四道關卡的共同點
GPU 是零件，不是算力。算力是「多個團隊可以用配額申請、有人在排程、有數據可以歸因、壞了有人接手」的服務。
四道關卡的破解法，每一道都指向同一件事：自建成功的關鍵不在硬體採購，而在硬體上面那一層。誰來排程、誰來切分、誰來監控、誰來讓 AI Agent 的請求找到對的模型與對的 GPU。這一層做不好，再貴的機器也只是機櫃裡一台很熱的伺服器。
下一篇要談的就是這一層：從機櫃到 AI Agent 之間，算力層必須具備的五個治理能力，以及目前三條實作路線各自適合什麼樣的企業。
常見問題
推論用途一定要買最新世代的 GPU 嗎？
不一定。推論負載看重的是記憶體容量、記憶體頻寬與功耗效率，而不只是峰值運算力。既有機房的供電與散熱條件往往才是決定因素。先量機房、再依目標負載選機種，通常比直接買頂規更划算。
我們的機房放不下，是不是就只能用外部 API？
還有中間選項。把設備放在台灣境內具備液冷條件的主機代管機房，資料不出境、設備仍由貴司控制與稽核，只是不在自己的大樓裡。對醫院與製造業，這常是第一階段最務實的做法。
第一批該買多大？
只買「依法規或機密性不能送外部 API 的那部分流量」所需的規模。先讓這一批跑出真實的使用率與成本數據，再依數據決定第二批。一次買足三年的量幾乎總是最差的選擇。
如果貴司手上已經有一張 GPU 報價單，卻還沒有量過機房條件與目標負載，歡迎聯絡品得網絡。品得網絡不代理硬體，可以協助貴司把「要買什麼」翻譯成「要跑什麼」，讓採購與驗收都有可量測的依據。
