自去年來，從Open AI推出O1推理模型，到Anthropic跟進推出非常依賴推理能力的“Computer Use”的Agent功能，再到DeepSeek R1推理模型在全球火爆，以及英偉達在GTC大會上亮相首款推理模型、首個推理軟件等，這些科技巨頭的動作一再揭示一個趨勢——AI大模型的競爭焦點已經(jīng)轉(zhuǎn)向AI推理，AI推理時代已經(jīng)到來。
面對新興的AI推理需求，推理性能、效率以及成本毫無疑問是最核心的問題，而邊緣計算在靠近數(shù)據(jù)生成源的地方進行處理和推理，具有低延遲、數(shù)據(jù)隱私保護和高效能等優(yōu)勢，被視作AI推理的理想位置，由此將成為競爭的新戰(zhàn)場。
在DeepSeek出現(xiàn)之前，AI大模型的部署與訓練需要大量的資金投入和大規(guī)模算力的部署、維護，中小企業(yè)很難自建生態(tài)以進行大模型的開發(fā)，同時也受制于AI大模型閉源帶來的部署與使用門檻。
而DeepSeek采用大規(guī)模跨節(jié)點專家并行的模式，利用強
化學習來減少人工依賴和數(shù)據(jù)缺失的問題，通過全面開源的方式，將AI推理資源池成本降到百卡/千卡范圍，真正降低AI大模型在行業(yè)用戶環(huán)境中的部署與使用成本，同時，部署方式更加輕量、靈活，為行業(yè)提供了全新的解決方案。短短兩個月的時間，國內(nèi)外的科技、金融、政務、
能源、通信、汽車、高校等各行各業(yè)均已紛紛接入DeepSeek，用于業(yè)務提效和AI應用創(chuàng)新。
這讓更多人以更低成本享受到了AI的高性能，加速了端側(cè)AI的爆發(fā)與普及，同時也推動了AI格局向大規(guī)模推理轉(zhuǎn)變。
由于AI推理會為終端用戶運行工作負載，響應速度和位置尤為關(guān)鍵，這意味著在邊緣或邊緣云環(huán)境中進行推理更有優(yōu)勢。對于企業(yè)而言，靠近節(jié)點的邊緣云可以有效提高數(shù)據(jù)交互和AI推理的即時性與效率，并保障信息安全。
具體來看，邊緣計算地理分布廣泛，更靠近用戶，是低延遲體驗的必要條件。同時邊緣計算通過縮短交互鏈路，能夠大幅降低數(shù)據(jù)傳輸開銷和成本。以語音數(shù)字人場景為例，相較中心云，在靠近用戶的邊緣側(cè)接入，使得語音數(shù)據(jù)傳輸鏈路短，用戶體驗明顯優(yōu)于中心推理，而相較設(shè)備端，又可以降低對終端設(shè)備的依賴，模型能力的優(yōu)化升級更加簡便。
其次，邊緣節(jié)點容量大、健壯性強、可用性高，疊加邊緣推理后，更具智能、更加高效，能夠更好支撐企業(yè)數(shù)字化、智能化;并且邊緣計算還能保障業(yè)務連續(xù)性，通過業(yè)務調(diào)度能力實現(xiàn)節(jié)點故障時的快速切換。
再者，在邊緣側(cè)可以提供更多能力，比如邊緣緩存，實現(xiàn)交互內(nèi)容的就近存儲，減少網(wǎng)絡流量、提升模型的實時性，比如集成安全的邊緣防護，增強大模型部署和應用的安全性。
AI推理市場的主要競爭者包括AI硬件廠商、模型廠商以及AI服務提供商，可以看到，參與者們已經(jīng)在瞄準邊緣計算進行布局。
比如硬件層面，蘋果、高通等廠商積極研發(fā)邊緣AI芯片，應用在AI手機和機器人上，支撐邊緣端的大模型運行；Arm發(fā)布了邊緣AI計算平臺，可運行超10億參數(shù)的端側(cè)AI模型；國科微推出了AI邊緣計算芯片，可適配包括輕量級LLM語言大模型、AIGC生成式模型、CV大模型以及多模態(tài)大模型等。
平臺服務層面，英特爾推出了基于英特爾銳炫TM顯卡的邊緣端AI推理解決方案，提升AI推理速度；阿里云推出了邊緣容器云，助力開發(fā)者實現(xiàn)更快速的AI推理應用的迭代和部署；網(wǎng)宿科技打造了邊緣AI平臺，提供ServerlessGPU、邊緣AI網(wǎng)關(guān)、邊緣模型微調(diào)與推理服務等，幫助企業(yè)低成本、高效率地實現(xiàn)AIGC創(chuàng)新。
目前AI推理市場正處于快速發(fā)展期，競爭格局尚未完全固化。專家認為，未來市場競爭的核心要素在于成本/性能的計算，即包括推理成本、延遲和吞吐量。
聚焦到邊緣計算這一切入點，資源與技術(shù)能力將是參與者競爭取勝的關(guān)鍵。
以網(wǎng)宿科技為例，作為邊緣計算領(lǐng)域的頭部玩家，于2011年就已探索邊緣計算，早已形成從資源、產(chǎn)品、能力、安全到應用的一體化布局。資源方面，網(wǎng)宿在全球擁有近3000個節(jié)點資源和豐富的GPU算力資源，更貼近業(yè)務邊緣，具有低時延優(yōu)勢，例如在與大模型交互的鏈路中，能夠?qū)⒛Ｐ徒换バ侍嵘?-3倍。
而在技術(shù)能力上，網(wǎng)宿沉淀了完備的技術(shù)棧，依托異構(gòu)計算資源的虛擬化和容器化、全球海量節(jié)點的編排管理等關(guān)鍵技術(shù)，能夠支撐大規(guī)模模型能力的調(diào)度和運營，為企業(yè)提供高可用服務；此外，還通過邊緣函數(shù)自定義更多個性化的功能，結(jié)合企業(yè)業(yè)務場景提供個性化的智能解決方案。
據(jù)悉，網(wǎng)宿邊緣AI平臺已經(jīng)深入醫(yī)療、家居、媒體、互聯(lián)網(wǎng)等行業(yè)，應用于AI輔助開發(fā)、AI問答、AIOT、AI評論等場景，比如網(wǎng)宿利用RAG技術(shù)構(gòu)建知識庫，并結(jié)合邊緣AI推理模型，為某醫(yī)療企業(yè)構(gòu)建了智能AI問答系統(tǒng)，明顯提升了醫(yī)療咨詢的效率。
可以預見，隨著模型技術(shù)的不斷演進和邊緣計算能力的持續(xù)提升，AI推理將迎來一場革新，為產(chǎn)業(yè)帶來更多創(chuàng)新機遇。
年終盤點丨中標金額超9.2億！2024年色譜儀中標數(shù)據(jù)出爐
客服在線：
浙公網(wǎng)安備 33010602002722號
昵稱 驗證碼 請輸入正確驗證碼
所有評論僅代表網(wǎng)友意見，與本站立場無關(guān)