模型 / MODELS
Cactus 開源 Gemma 4 E2B Hybrid：端側模型自評置信度，低分自動交棒大模型
Cactus 以 Gemma 4 E2B 為基礎推出 Hybrid，在檢查點內嵌入置信度探針，為每個回答輸出 0 到 1 的結構化分數，低置信度時自動路由至 Gemini 3.1 Flash-Lite，多數基準僅需切換 15–55% 查詢即可持平。
on-device
所有與「on-device」相關的 AI Daily Mail 報導，以具名、可回查的來源為基礎，依發布時間排序。
on-device 標籤的文章列表
共 2 則文章，依發布時間排序
工具 / TOOLS
ESP32-S3 跑起 28.9M 參數 LLM：8 美元微控制器的端側推理實測
開發者 slvDev 把 28.9M 參數語言模型塞進約 8 美元的 ESP32-S3，靠 Per-Layer Embeddings 將 25M 參數留在快閃記憶體，端到端約 9.5 tok/s 完全離線生成。