「我們要把晶片打造成運算盒搭載軟體銷售!」鈺立微電子與新芽網路跨界合作,將以邊緣運算、AI 雲端等技術升級服務
廠商專訪 「我們要把晶片打造成運算盒搭載軟體銷售!」鈺立微電子與新芽網路跨界合作,將以邊緣運算、AI 雲端等技術升級服務
調研機構Research Nester預估,2036 年邊緣運算市場規模將達到 8939.3 億美元,且 2024 年至 2036 年的複合年增長率約為 39.65%。鈺立微電子總經理王鏡戎表示,AI 兩塊最大的商業領域分別是訓練和推理,以前訓練的資料量大,需要超大規模(Hyperscale)的計算方式,因此商機主要集中在雲端,不過在推論階段,當 AI 應用包羅萬象,在每個專業領域的使用不盡相同,「所以你會發現其實每項領域跟應用範圍不一定都需要這麼厲害的 AI,這些事情一旦被定義,AI 推論就會逐漸延伸至邊緣運算。」
 
王鏡戎特別分享在日本橫濱嵌入式展(EdgeTech)的觀察,各個科技大廠的發表皆聚焦邊緣小語言模型(SLM),其概念是縮小大型語言模型的參數,以部署在電腦、手機、伺服器等邊緣裝置,王鏡戎分析,「如果雲端服務業者未來也有這項計畫,那麼發展邊緣 AI 將帶來很大商機,我們業界預估整個推論市場規模會放大 17 倍,其中一部分就會來自邊緣運算。」

鈺立微電子總經理王鏡戎指出,鈺立微電子預計將小型語言模型晶片系統與新芽網路的軟體解決方案整合

致力提供 3D 感測解決方案的鈺立微電子在今年跨入語言模型領域,推出人機互動開發者介面「Sense and React」。「一方面我們在小型語言模型放入一些針對特定領域的問題和應用,另一方面,以前我們都知道 AI 相機可以辨識,但沒有敘事功能,不過 Sense and React 可以解決這件事情,進行更深層的判別,並且提供使用者所需要的訊息」,王鏡戎以安防監控的應用為例,說明如果在工廠看見可疑人士戴帽子且行動異常,Sense AI 可以提供「你的工廠現在有一個全身穿黑衣的男子,走路躡手躡腳正在靠近大門」的實用資訊,此外王鏡戎強調感測(Sensing)領域的應用具備極大商機,從歐美市場流行的居家監控、掃地機器人,再到工業領域的安全防護都可以開創全新的應用場景。
 
進一步探討鈺立微電子如何整合邊緣運算、AI 等先進技術,為客戶帶來更多實際價值?王鏡戎表示,鈺立微電子的研發方向是打造可以容納小型語言模型的邊緣使用 HBM(高頻寬記憶體),並發揮在專業領域的影響力,例如將感測技術與新時代 AI 藉由特殊記憶體整合成系統,推動多元應用的落地。另外鈺立微電子也將透過與新芽網路的合作提升客戶體驗,王鏡戎分享,「新芽網路推出企業版的 ChatGPT『Bizbase.ai』,具備優質的 AI 介面、套件和使用流程,再與我們的小型語言模型晶片系統整合,將帶給企業克服隱私疑慮、成本高昂等痛點的解決方案。」


AI 服務融入企業的 DNA
 
當許多企業對於雲端的 AI 解決方案仍對於隱私安全抱持疑慮,尤其金融、保險、科技產業更難以承擔風險,新芽網路 BackStage BU Lead 李育賢觀察,「邊緣運算機器推出後,這些企業就會評估投入的可能性,另外我們近期看到 Google、OpenAI 開始發展模型蒸餾(Model Distillation),把模型參數大幅縮小,甚至 Google 推出到 1B 的程度,可以讓每個人的筆電、手機搭載,並且實現更快速的運行,這樣的進步將會推動邊緣伺服器效能更強大,企業也能安心將其部署在機房。」

新芽網路 BackStage BU Lead 負責人李育賢深入探討企業使用雲端 AI 解決方案的痛點,以及新芽網路如何協助克服

「Bizbase.ai 主打是具有資料隱私性的 ChatGPT,甚至可以聚焦在某個領域的應用,融入企業的 DNA」,李育賢分析,企業使用 AI 除了要確保隱私安全,更在意解決方案是否符合自身領域的需求,而過去使用以大型語言模型為基礎的 ChatGPT ,通常難以聚焦特定產業資料,因此新芽網路外掛一個「大腦」,讓 AI 可以在大腦思考,提供更精準的答覆。在實際應用案例上,新芽網路就有一個工廠端客戶期望透過 Bizbase.ai 改善業務與客戶溝通的流程,李育賢表示,「當業務接收各國模糊的訂購需求,導入 Bizbase.ai 即可協助解析郵件提及的產品規格,再比對企業預先輸入在資料庫的關鍵字,並檢查是否確實符合客戶需求,最後生成報價單與回覆內容的範本,讓業務直接審查或修改。」

新芽網路創辦人暨執行長劉邦彥分享 SurveyCake 產品功能可以為客戶收集數據、挖掘深度洞察

新芽網路另一個核心產品「SurveyCake」,也為企業帶來提升管理流程的效益。新芽網路 Co-founder/CEO 劉邦彥說明,企業期望將收集的各項資料轉換為深度洞察,輔助決策的擬定以帶來更多營收,當企業使用 SurveyCake 收集資料,就可以觸發一些行為,例如店內接獲客訴內容,這些資料不只會進入後台,還會立即發送通知訊息,以利主管在有限的時間處理。「企業級雲端問卷 SurveyCake 是一個高效、可靠的解決方案,我們將會持續提升 AI 語意辨識、分析、標籤等效能,協助客戶節省巨量時間與成本」,劉邦彥強調。
 
鈺立微電子憑藉 AI、邊緣運算等技術,帶來更全面的感測解決方案;新芽網路則是整合 AI、網路技術與雲端應用,協助企業推動 AI 轉型和落地,雙方將透過優勢互補的跨界合作,開啟產品銷售模式的創新。王鏡戎表示:「我們要把晶片打造成一種運算盒,並搭載新芽網路的軟體進行銷售,將新芽網路的解決方案變成自己的 Windows。」李育賢也說道,「新芽網路一直關注市場方向,以了解客戶需求、推動解決方案的優化,過去我們發現許多企業因為擔心資料隱私而未採用線上 AI 服務,如果未來結合邊緣式的解決方案,將有機會推入更多市場。」
本網站使用您的Cookie於優化網站及您的使用經驗。繼續瀏覽網站即表示您同意本公司隱私權政策,您可至隱私權政策了解詳細資訊。