2026年6月22日，美國股市晶片板塊全面上漲——費城半導體指數單日大漲6.42%，英特爾因與蘋果合作生產晶片的消息漲逾10%，台積電ADR上漲6.94%，收於462.12美元，輝達漲近3%。市場情緒背後，反映出一個加速兌現的產業判斷：AI算力需求結構已從訓練驅動轉向推理驅動。
根據業界分析，推理在AI總算力需求中的占比已從2023年的約三分之一提升至2026年的三分之二，預計2028至2030年將達到70%至85%。這一結構性轉變正在重新劃定晶片競爭的主戰場——從「誰的GPU訓練最快」到「誰的晶片推理總成本最低、吞吐量最高」。
全球人工智慧推理晶片市場2024年價值為854億美元，預計將從2025年的1,054.7億美元增長至2033年的5,707.7億美元，預測期內複合年成長率為23.5%。其中，雲端AI推理晶片市場2025年估值為1,021.9億美元，2026年預計增至1,189億美元，至2032年有望達到3,209.8億美元。與此同時，全球邊緣AI晶片組（推理與訓練合計）市場規模預計從2026年的344億美元增至2031年的960億美元。
在這一擴張週期中，晶片類型間的勢力對比正發生微妙且深刻的變化。GPU仍是最大的市場佔有者，在訓練與推理需求雙重支撐下，預計至2031年將維持20%的複合年成長率。但人工智慧ASIC被多家機構視為成長最快的細分領域。摩根大通分析師估計，數位AI ASIC市場到2026年將達約600億至700億美元，並在未來幾年維持40%至50%以上的複合成長率。
更值得關注的是CPU的回歸。過去三年，CPU在AI敘事中長期處於邊緣位置，但推理需求的爆發正在改變這一格局。
CPU何以重返舞台中央
AI推理與訓練在運算邏輯上存在本質差異。訓練是一個大規模並行的矩陣運算過程——數兆次浮點運算可在數萬個GPU核心上同時進行，這正是GPU的絕對優勢領域。但推理，尤其是代理式AI（Agentic AI）的推理，涉及任務編排、工具調用、多步邏輯判斷與順序決策。這些工作負載並非純粹的並行運算，而是大量依賴CPU擅長的複雜邏輯控制與串行處理能力。
Georgia Tech與Intel的一項研究指出，在Agentic AI場景中，50%至90%的延遲來自CPU，而非算力晶片——因為大模型要調用插件、連網搜尋、處理多步邏輯，這些工作全靠CPU調度。輝達自身也於2026年3月承認了這一現實：其高管Dion Harris公開表示，「CPU正在成為AI工作流程中的瓶頸」——這出自一家以「GPU是AI唯一需要的晶片」為產業信念的公司。
從配置比例的變化可以更直觀地看到這一趨勢。在AI訓練階段，CPU與GPU的配置比例通常維持在1:8的極端狀態，GPU承擔絕大部分運算壓力。而進入推理時代後，根據TrendForce報告，這一比例正快速拉近至1:1到1:2之間。英特爾CEO陳立武在2026年第一季財報電話會議上也指出，訓練負載通常需要7至8個GPU配合1個CPU，而推理負載已收緊至3至4個GPU配合1個CPU，未來有望進一步向1:1的平衡邁進。
以輝達CEO黃仁勳的估算為參照：每GW資料中心約需30萬顆Rubin GPU，而按每顆ARM CPU 136個核心換算，每GW資料中心約需22.1萬顆CPU，新的CPU與GPU配比約為1:1.4。這與過去GPU主導時代的比例相比，CPU的地位已大幅提升。
GPU的護城河與推理場景的挑戰
儘管CPU正在收復失地，GPU在AI推理階段仍佔據不可替代的位置，核心在於記憶體頻寬與並行吞吐量兩個層面。
在LLM推理過程中，生成每個token需讀取數億至數百億參數，屬於典型的記憶體密集型任務。CPU方案依賴系統DDR記憶體，頻寬通常在50至100GB/s量級；而GPU採用GDDR6X或HBM顯示記憶體，頻寬可達800GB/s以上，高階GPU的HBM2e顯示記憶體頻寬可達1.5TB/s，是CPU的20倍。在Llama 3.1 8B模型推理中，CPU方案單任務速度僅819 token/s，而8卡GPU集群可達46,841 token/s。當並發請求增加時，CPU效能從819 token/s驟降至257 token/s，而8卡GPU集群幾乎無衰減。
在算力密度方面，GPU透過數千個CUDA核心實現並行化，支援FP4/FP8等低精度格式，算力可達數百TFLOPS，而CPU的FP32算力通常在1至10 TFLOPS量級。
這些數據說明，在需要高吞吐、高並發的推理場景中——如面向大規模用戶的雲端AI服務——GPU仍是最優解。輝達在這一領域的主導地位尚未被撼動。根據SemiAnalysis數據，2026年第一季輝達在AI訓練晶片市場佔有率為92%，推理晶片市場佔有率為78%。IDC估計輝達掌握約81%的AI晶片市場份額。AI加速器市場2025年約為1,600億美元，2026年正朝向2,000億美元以上邁進，推理支出預計將佔其中的三分之二。
但值得關注的是，GPU在推理場景中的份額正面臨多重壓力——來自CPU的回歸、來自ASIC的專用化競爭，以及來自成本結構的現實考量。
CPU廠商的推理反擊戰
CPU在推理階段的價值重估，已經轉化為可量化的市場動能。
資料中心處理器市場正受生成式AI工作負載需求激增的推動而快速成長，預計市場規模將從2025年的2,150億美元擴展至2031年的6,560億美元。國海證券指出，超大規模資料中心已進入「升級週期」，預計2026年伺服器CPU出貨量有望增長25%。
AMD是這一趨勢的顯著受益者。AI伺服器需求拉動EPYC CPU出貨量，第五代Turin已佔據伺服器CPU市場較大份額，2026年伺服器CPU業務預計至少增長50%。伯恩斯坦分析師預測AMD旗艦EPYC處理器銷售額2026年有望飆升30%。在資料中心CPU市場，截至2026年初，英特爾持有約60%的份額，AMD約24%，輝達約6%。AMD同時以Instinct加速器在AI GPU市場與輝達競爭，使其在推理時代的雙重布局中佔據獨特位置。
英特爾同樣在積極調整策略。2026年6月Computex上，英特爾新任CEO陳立武以18A製程加機架級解耦架構宣告：推理時代CPU重回主位，AI基礎設施從「買全家桶」走向「拼樂高」。英特爾至強處理器內建的高級矩陣擴展（AMX）技術，可在未配置GPU或其他AI加速器的情況下，為中小參數規模的大型語言模型提供推理加速支援。
最具象徵意義的變化來自輝達自身。這家以GPU定義AI時代的公司，已於2026年相繼推出Grace與Vera CPU產品線，其中Vera CPU專為推理與代理式AI工作負載設計。輝達預計2026年CPU業務收入將達到200億美元。輝達與Arm於2026年相繼推出獨立CPU產品，標誌這家GPU巨頭正式進入CPU賽道。
ASIC與專用晶片：第三條路線的崛起
在GPU與CPU的二元敘事之外，ASIC（專用集成電路）正成為推理市場中成長最快的變數。
TD Cowen預計，商用加速器份額將從2025年的約91%降至2030年的約75%，而客製化ASIC將從約9%升至約25%。ASIC伺服器出貨量2026年預計增長44.6%，而GPU伺服器出貨增速為16.1%，僅為ASIC的三分之一。
超大規模雲端運算業者正在加速自研推理晶片。Google TPU、AWS Inferentia、Meta MTIA，以及Groq的LPU（語言處理單元）等專為推理優化的ASIC晶片正加速涌現。Broadcom 2026年第二季AI收入達108億美元，年增143%，全年AI收入指引為560億美元，年增180%。Broadcom預計將佔據客製化AI晶片市場約60%的份額。
這一趨勢意味著推理晶片市場正從「通用GPU主導」走向「GPU+CPU+ASIC」的多元格局。GPU負責高強度訓練與大規模推理，CPU負責任務編排與系統控制，ASIC則在特定推理負載上實現極致能效比。
成本結構與推理經濟學的重塑
推理階段的晶片選型，最終要回到一個核心問題：每百萬token的推理成本。
在訓練階段，模型精度與訓練時間是首要指標，成本容忍度較高。但推理是持續性、高頻次的生產活動——每一次API呼叫、每一個用戶請求都產生直接成本。這使得推理晶片的競爭從「絕對效能」轉向「單位成本下的有效吞吐量」。
GPU方案在硬體採購上成本更高。以AMD MI300X為例，售價約為1萬至1.5萬美元，而輝達H100售價在2.5萬至4萬美元之間。但GPU的單位算力成本更低——以某雲端業者的按需實例為例，GPU實例的每秒token生成成本比CPU實例低40%至60%。CPU方案的優勢在於無需額外硬體投入，適合低並發、低延遲的單任務場景。
然而，隨著推理規模擴大，CPU方案的邊際成本上升更快——當並發請求增加時，CPU需透過時間片輪轉調度任務，上下文切換開銷隨並發數指數級上升。這意味著在規模化推理部署中，GPU或ASIC的初始高投入往往能透過更高的吞吐量與更低的單位成本實現更優的長期ROI。
結語
推理算力需求占比從三分之一升至三分之二，這一數字變化背後，是晶片產業競爭邏輯的深層轉換。
對輝達而言，其在訓練市場的絕對優勢（約90%份額）短期內難以撼動，但推理市場的增量競爭將更為激烈。New Street Research給出最激進的預測：輝達推理份額到2028年可能降至20%至30%。即使如Bloomberg Intelligence的保守預測——輝達到2030年維持70%至75%份額——ASIC出貨量增速遠超GPU的事實也已確立。
對AMD與英特爾而言，推理時代的CPU需求回升是一場結構性機遇。AMD以EPYC CPU加Instinct GPU的雙線布局，英特爾以18A製程加至強處理器的持續迭代，皆在試圖抓住這一窗口。
對雲端運算業者與AI應用開發者而言，晶片選項的增加意味著更精細化的成本優化空間。從通用GPU到客製化ASIC，從CPU推理到GPU加速，硬體選型將越來越取決於具體工作負載的特性——模型規模、延遲要求、並發量、成本預算。
AI推理的算力需求正以超越訓練的速度成長。這場從訓練到推理的算力重心轉移，正在重塑從晶片設計到資料中心架構的整個產業鏈。GPU不會失去它的位置，但它也不再是唯一的答案。
