▲企業瘋AI卻發現燒錢又卡頓？專家點出關鍵，改用「Edge（邊緣）」運算，把資料處理從雲端搬到身邊，就像在樓下開分店，反應變快又能省大錢。（圖／取自pixabay）
記者萬玟伶／綜合報導
自從ChatGPT橫空出世後，台灣無論是大老闆還是上班族，開口閉口都是AI。許多企業也趕流行，砸大錢買了最先進的GenAI（生成式AI）工具，希望能讓工作變輕鬆。但沒想到，實際上線後卻發現一個大問題，AI運作起來不僅「燒錢」速度驚人，有時候反應還會卡卡的，讓使用體驗大打折扣。其實，這不是AI本身變笨了，而是負責傳輸和運算的「基礎設施」出了問題。專家點出，若想讓AI真正好用，關鍵就在於把運算地點從遙遠的雲端，搬到你我身邊的「Edge（邊緣）」。
《AI News》報導點出，為什麼企業導入 AI 常常覺得「划不來」？Akamai雲端運算技術長Jay Jenkins接受訪問時點出了一個盲點。他表示，很多公司低估了「在實驗室玩AI」跟「實際拿來做生意」之間的巨大落差。雖然大家對GenAI很熱衷，但當這項技術真正要大規模應用時，高昂的帳單和惱人的Latency（延遲），往往導致許多專案最後無法回本。
要聽懂這個問題，得先搞懂兩個詞，Training（訓練）和Inference（推論）。簡單來說，Training就像是AI在學校讀書考試，這階段雖然累，但只是一時的；而Inference則是AI畢業後每天上班工作、回答使用者的問題。Jenkins指出，現在亞太地區的AI發展已經進入「上班」階段，每天頻繁的Inference才是最吃算力、最燒錢的環節。
目前的狀況是，大多數企業還是習慣把所有資料都傳送到遠方的大型資料中心去處理。這就像是你人在台北想買杯飲料，卻得打電話去美國總店下單一樣，不僅路途遙遠導致反應變慢（Latency高），傳輸過程的過路費也很驚人。
為了解決這個痛點，Akamai找來了晶片大廠NVIDIA合作，透過搭載最新Blackwell GPU的技術，推出「Inference Cloud」。這個概念很直白，既然AI需要即時做決定，那就不要把資料送到天邊，直接在離使用者最近的「Edge（邊緣）」處理就好。這就像是在樓下開分店，反應自然快，成本也更低。
Jenkins舉例，這種「就近處理」對講求速度的行業特別重要。像是大家逛網拍，如果網頁轉圈圈轉太久，消費者通常直接關掉不買了；又或者是銀行在刷卡時進行防盜刷偵測，這需要在幾毫秒內完成一連串判斷，如果還要連線到國外機房，根本來不及。Akamai的數據也顯示，像印度和越南的企業，在把圖像生成的AI工作搬到Edge之後，因為省下了昂貴的資料傳輸費，整體成本大幅下降。
隨著未來AI不只是回答問題，還要能像代理人一樣連續執行任務，這種對速度的要求只會越來越高。Jenkins認為，未來的趨勢是建立一個分散式的AI網路，哪裡有需求就在哪裡運算。這不僅能解決速度問題，還能應對亞太各國複雜的資料法規——畢竟把資料留在當地處理，總比送出國容易合規。對於想靠AI賺錢的企業來說，搞定Inference的效率，或許比追求模型有多聰明來得更重要。
