Raspberry Pi 推出新 AI HAT,為本機 LLM 內建 8 GB RAM (★
104 分)
Raspberry Pi 推出新款 AI HAT+ 2(HAT, Hardware Attached on Top,Raspberry Pi 的擴充板標準),售價 130 美元,搭載 Hailo 10H 並額外內建 8 GB LPDDR4X(低功耗 DDR4 記憶體)。官方主打把大型語言模型 (LLM, Large Language Model) 的推論工作交給 Hailo 10H 的 NPU(Neural Processing Unit,神經網路處理器)與其自帶記憶體處理,讓 Pi 的 CPU 與系統記憶體能留給其他任務;晶片峰值功耗約 3 W,標示有 40 TOPS(Tera Operations Per Second,每秒兆次運算)的 INT8 與約 26 TOPS 的 INT4(以 8/4 位元整數量化)效能。作者 Jeff Geerling 認為規格聽起來很猛,但實際上更像是「找問題的解法」:它確實比在 Pi 上外接 eGPU(external GPU,外接顯示卡)更便宜也更小,但用途仍偏少數情境,且行銷說法相當籠統。
他用同一台 8 GB 的 Pi 5 做對照測試,把 Hailo 提供的多個 LLM 模型分別跑在 Pi 5 的 CPU 與 AI HAT+ 2 的 NPU 上,結果多數情況是 Pi 5 CPU 明顯更快,Hailo 10H 只有在 Qwen2.5 Coder 1.5B 這類模型上才比較接近。NPU 在能效上略占優勢,但關鍵差異其實來自功耗上限:Pi 5 的 SoC(System on a Chip,單晶片系統)可拉到約 10 W,而 Hailo 10H 最高約 3 W。更大的瓶頸是記憶體容量:許多「中型」量化模型常見就要吃掉 10–12 GB,再加上 context(上下文視窗)通常還要額外 2 GB 以上,使得 8 GB 的賣點反而不足以形成優勢;作者也示範了用 16 GB 的 Pi 5 跑經特殊壓縮後的 Qwen3 30B,透過 llama.cpp(在 CPU 上執行 LLM 的開源推論工具)雖然速度不快,但仍能產出符合需求的單頁 TODO 清單小工具,凸顯「本機模型」在小任務上的確已經可用,只是更吃記憶體的模型往往得靠 16 GB 這種規格才玩得起。
在電腦視覺方面,AI HAT+ 2 的確有感:作者用 Camera Module 3 搭配 YOLO(You Only Look Once,即時物件偵測模型)可跑到約 30 fps,速度大約是 Pi CPU 的 10 倍。不過他也指出,純視覺推論其實用舊款 AI HAT 或更便宜的 AI Camera 就能達成,AI HAT+ 2 的「主打功能」是混合模式:同時跑視覺與另一個推論工作(例如 LLM 或文字轉語音)。但他實測同時跑兩個模型時,遇到 segmentation fault(記憶體區段錯誤)或裝置未就緒等問題,加上 Hailo 的範例套件尚未更新、模型檔案載入失敗,導致混合模式無法在發文時完成驗證。整體結論是:8 GB 的額外記憶體雖然有用,但仍不足以讓它比「直接買 16 GB 的 Pi 5」更划算;它可能較適合在嚴格功耗限制下需要同時做視覺與推論的邊緣情境,或是作為 Hailo 10H 的開發套件,用來把晶片導入其他裝置。
Hacker News 的回應多半延續作者的冷靜評價:不少人認為「能跑 LLM」不等於「值得跑 LLM」,規格數字很容易變成行銷話術,8 GB 更被批評對多數實用模型仍偏小;也有人直接拿文中「Pi CPU 比 NPU 快」當作判決,質疑這類外掛 NPU 的性價比與軟體成熟度。討論也延伸到 Raspberry Pi 的定位:批評者指出以同價位在二手市場可買到更完整的 x86-64(常見桌機/筆電架構)筆電或企業迷你電腦(如 Intel NUC,小型迷你電腦),記憶體可上 32–64 GB、NVMe 可換、擴充性與效能更高;但支持者則強調 Pi 的優勢仍在生態系與好上手的軟體映像檔、GPIO(General Purpose Input/Output,一般用途輸入輸出腳位)與體積/功耗,像 3D 印表機控制(Klipper)、小型觸控控制器、家用實驗環境的 DNS/VPN(Virtual Private Network,虛擬私人網路)
/NAS(Network Attached Storage,網路附加儲存)等都很常見。另有不少人點名 Hailo 的 Linux 支援偏薄弱(例如在 Ubuntu、ROS(Robot Operating System,機器人作業系統)上折騰),並推測真正的甜蜜點仍是視覺工作負載(居家監控、物件偵測),語音與智慧家庭則更可能走「小模型專用微調」或把喚醒詞丟給 ESP32 等微控制器處理,再搭配 Home Assistant 的本機語音管線(如 Whisper 語音辨識與 Piper 文字轉語音)分工。整體共識是方向有趣,但在記憶體規模與軟體可用性到位前,多數人會更傾向買更大記憶體的 Pi 或直接改用迷你 PC。
👥
67 則討論、評論 💬
https://news.ycombinator.com/item?id=46629682