據EE Times報道，Kinara 最近推出了第二代邊緣 AI 加速器 Ara-2，它可以在芯片的 6W 功率范圍內運行具有多達 300 億個 (INT4) 參數的生成 AI 模型。Kinara 還演示了運行 Llama2-7B 的 Ara-2 每秒生成數十個令牌，或運行 StableDiffusion 1.4 在 10 秒內進行 20 次迭代。Ara-2 針對生成式 AI 工作負載進行了優化，包括邊緣服務器和邊緣設備應用程序的圖像和文本生成。該公司將繼續提供其面向視覺的第一代芯片 Ara-1 和 Ara-2。

“讓它發揮作用的唯一方法是降低成本，而這正是我們所提供的，”他說。“以更高的處理效率將生成式人工智能轉移到邊緣，你將獲得更低的成本，而且顯然隱私和可靠性是大問題...... 你可以通過將模型推向邊緣來解決這個問題。”

在邊緣運行生成式人工智能還提供了利用特定上下文信息來提高準確性的機會。

“總的來說，我們看到更加個性化、更加定制的模型正在走向邊緣，并且從性能、隱私和成本的角度來看都有優勢，”他說。


第二代邊緣AI大升級

Kinara 的第二代神經核心具有與第一代類似的整體架構和 AI 優化指令集，但它比第一代更大，每個核心的 ALU 數量是第一代的兩倍。Ara-2 仍然是 8 核設計，但其性能比 Ara-1 高 5-8 倍。

Kinara 首席架構師 Wajahat Qadeer 告訴 EE Times：“從 Ara-1 到 Ara-2，我們大大提高了核心的利用率。” “效率顯著提高。我們增加了內核中 ALU 的數量，但效率是我們能夠獲得比 Ara-1 更好 5-8 倍性能的原因。”

Qadeer 表示，新內核增加了 VLIW（超長指令字）功能，針對 AI 工作負載進行了調整，這有助于避免加載/存儲瓶頸。（VLIW 通常用于 AI 加速器，因為它支持指令級并行性，這對于 AI 工作負載來說是理想的）。

矩陣乘法支持已得到增強，以支持變壓器網絡，包括 LLM 和 ViT（視覺變壓器）。相同的神經核心可以處理常見的激活函數，如 softmax 和 ReLu。

添加了對 LLM 等大型網絡有用的 INT4 支持以及 Microsoft 的特殊 FP16 格式MSFP16。（MSFP16 使用多個尾數的共享指數來提高計算效率）。

Ara-2 還具有增強的內存結構，增加了內部和外部帶寬，以滿足法學碩士的需求。第二代芯片可尋址高達 16 GB LPDDR4x。

該芯片有一個 L2 共享內存，這是一個軟件控制的內存（不是緩存，因為數據到達的時間和延遲方面不太可預測）。數據流引擎控制數據從外部到共享內存以及從共享到本地內存（計算核心中的 L1）的傳輸。

“編譯器是我們的主要優勢，”Qadeer 說。“我們的編譯器對芯片了如指掌，它能夠在無需訪問芯片的情況下確定每個操作員的數據流，然后在芯片上忠實地再現該時間表。”

還有處理視覺后處理的浮點單元（FP32 和 FP16）。Ara-2 還提供安全啟動、加密內存訪問和安全主機接口。

邊緣AI迎來爆發

在新的科技浪潮中，邊緣智能正日益嶄露頭角。

它代表著一種新的計算范式，將AI或大模型應用到接近數據源的邊緣設備和傳感器中，而不是依賴傳統的云計算。

目前的邊緣AI芯片主要出現在消費類電子設備，其中高性能手機占據了大部分的消費級別的應用邊緣AI芯片市場，邊緣AI被內置到手機主處理器AP中，但集成進AP的AI功能只掌握在少數幾家巨頭手中（比如蘋果/三星/華為手機廠商以及高通、聯發科和紫光展銳等手機AP供應商），對大部分AI芯片初創公司只能望塵莫及。

然而，邊緣AI芯片正越來越多地應用在非消費類設備和場合，比如智能安防、ADAS/自動駕駛、智能家居、可穿戴智能設備，以及公共場景、商業和工業場景的AI應用，如智能交通、智慧城市、工廠機器視覺、機器人和AGV等。這些新興的AIoT和工業物聯網應用場景為眾多邊緣AI芯片設計公司帶來更多機會，風投也嗅到了這里蘊含的巨大商機。因此，無論全球還是國內市場，都有越來越多的AI芯片初創公司獲得融資。

但近年來短短數年間獲得巨大增長且成功上市的AI芯片公司并不多見，更遑論得到美國等成熟市場芯片行業的認可，今年成功登陸美國納斯達克市場的ICG（聰鏈集團），或許會是一個較為罕見的典型特例。而好消息是，ICG也開始瞄準AI芯片這一片潛藏著巨大機遇尚處于發展早期階段的領域，它也留意到邊緣AI里面那些“觸手可及”同時具備長遠商業應用場景的機會。

據STL Partners數據顯示，邊緣計算潛在市場將在10年內以48%的復合年增長率從2020年的90億美元增長到2030年的4450億美元，其中邊緣基礎設施的增長速度是最快的，而眾所周知，邊緣AI芯片處于核心位置，具有充分的戰略卡位意義。

億歐智庫數據顯示，2021年我國邊緣計算市場規模已經達到427.9億元，其中邊緣硬件市場規模為281.7億元，邊緣軟件與服務市場規模達146.2億元，2021-2025年中國邊緣計算產業規模預計年復合增速達到46.81%，2025年邊緣計算市場整體規模將達1987.68億元。而AI和大模型在今年出現了重大突破之后，以前的預測幾乎全部面臨重估——換而言之，在保守假設之下，整個中國邊緣計算產業規模預計將比原估計至少翻了近一番，很快就會來到3000-4000億規模左右的預測區間，關鍵取決于2024年AI應用的爆發式增長。


英飛凌、ST等大廠競相布局

有初創公司表示，已感受到來自聯發科、聯詠和瑞昱等IC設計廠商的壓力，這些廠商均在加緊開發AI芯片。消息人士稱，AI處理器針對不同的應用有不同的等級，邊緣AI芯片的性能要求已能夠與中高端智能手機AP（應用處理器）相媲美。

意法半導體（ST）已經推出了邊緣AI加速微處理器——第二代STM32 MPU。該處理器提高了工業和物聯網邊緣應用的性能和安全性，預計將于2024上半年批量生產。

意法半導體執行副總裁Ricardo De Sa Earp表示：“新的微處理器進一步加大了公司在應用處理器方面的投資，將64位內核與邊緣AI加速、高級多媒體功能、圖形處理和數字連接相結合。”

同樣瞄準邊緣AI芯片領域的大廠還有英飛凌。早前，英飛凌宣布收購初創公司Imagimob，后者是一家邊緣設備機器學習解決方案提供商，專注于邊緣AI市場。公告提到，通過此次收購，英飛凌將顯著補強其AI產品。

除了芯片端，大模型玩家也在加速布局移動/邊緣端的相關應用。日前舉辦的谷歌I/O大會上，谷歌宣布其PaLM2大模型的最輕量化版本Gecko可在移動端運行，開拓了AI模型在邊緣側推理的場景。對此，民生證券表示，在邊緣側推理的輕量化大語言模型有望帶動邊緣AI計算成長，加速邊緣硬件市場更新迭代。

事實上，隨著以ChatGPT為代表的AI大模型的衍生應用不斷推出，許多終端開始實現智能化體驗的升級，從而產生了海量的終端數據分析處理需求。在此背景下，邊緣端AI應運而生。此外，邊緣算力還具備低時延、高安全、隱私性較好等優勢，符合未來AIGC時代，對于AI創作所有權及隱私權的要求。