LFM3-1.7B 發表:官方跑分哪些能信,哪些場景值得換成小模型
LFM3-1.7B 官方平均 49.37,高於 Qwen3.5 9B 的 47.24,但同一張 29 列的表裡只有 14 列贏過 9B,領先集中在工具呼叫與瀏覽器、辦公室 agent 任務。寫程式、知識問答與 128K 長文檢索仍輸大模型。授權對年營收超過 1,000 萬美元的公司有限制。本文未實測,數字來自官方並附重算。
LFM3-1.7B 發表:官方跑分哪些能信,哪些場景值得換成小模型
Liquid AI 在 2026 年 10 月 27 日發表 LFM3 系列,其中的文字模型 LFM3-1.7B 只有 1.73B 參數,4-bit 量化後約 1 GB,官方跑分平均 49.37,比 9.7B 的 Qwen3.5 9B(47.24)還高。這種數字看到就想轉貼,但先看表怎麼編的再決定要不要信,比較省事。
這篇把官方 benchmark 表整個攤開讀過,告訴你哪幾列可以直接當決策依據、哪幾列要打折,最後給一份「我的任務該不該換小模型」的判斷清單。
先交代範圍:我想在本機編譯 llama.cpp、下載 GGUF 實跑,但執行環境不允許,所以這篇沒有任何自己實測的速度、記憶體或輸出。所有數字都來自 Liquid AI 的發表文與 Hugging Face model card,其餘是我拿同一張表重新計算的結果,會標明。
發表了什麼
LFM3 是一個家族,官方文章說首批有六個 2B 級模型,全部從同一個 LFM3-1.7B-Base 分支出來:
| 模型 | 用途 |
|---|---|
| LFM3-1.7B | 文字,本機 agent、工具呼叫、結構化輸出 |
| LFM3-VL-2B | 圖片與影片輸入 |
| LFM3-Audio-2B | 語音辨識、語音合成 |
| LFM3-Omni-2B | 文字、圖片、影片、音訊輸入,輸出文字與語音 |
| d1-2B、d1-omni-2B | 決策模型,一次回答多個結構化問題並附機率 |
權重開放(base 與 post-trained 版本),Hugging Face 上看得到,我 10 月 28 日讀取 LFM3-1.7B 頁面時顯示 6,311 次下載、212 個讚。上游 llama.cpp 的原始碼裡已經有 LFM3 的實作檔,GGUF 也有 Q4_K_M、Q8_0 等多種量化版本,所以本機跑起來不需要自己轉檔。
文字模型的規格:24 層,其中 13 層是門控短卷積、5 層是視窗 256 token 的滑動視窗注意力、6 層是全域注意力;詞彙表 128,000;上下文 256K;預訓練 22T token,最後 3.5T token 的中段訓練把上下文拉長到 256K。官方說這個混合結構是用「硬體在迴路」的架構搜尋找出來的,搜尋時量測的裝置從 LFM2 的兩台增加到 14 種裝置與後端組合,包含手機、Raspberry Pi 5、筆電和 Qualcomm Hexagon NPU。
官方跑分表,我怎麼讀
官方表有 29 列,對手是 LFM2.5 2.6B、MiniCPM5 2B、Gemma 4 E4B、Qwen3.5 4B 和 Qwen3.5 9B。幾個我認為該先知道的事:
條件是公開的。 所有模型用 vLLM、BF16、各自的完整上下文長度跑(LFM3、Qwen3.5 4B 與 9B 是 262,144,其餘是 131,072),沒特別註明的項目 temperature 0.6、top_p 0.95。BFCL、ToolSandbox 和 Claw-Eval 用貪婪解碼,agent 類另外限制回合數。這種寫法讓人有辦法重現,比只丟一張長條圖誠實。
但這是廠商自己跑的。 發表文沒有第三方重現,選哪些對手、選哪些 benchmark,都是 Liquid AI 決定的。對手裡沒有 Llama 或 Phi 系列的小模型,這是我讀表時看到的,不代表它們會贏。
「平均 49.37 勝過 9B」要拆開看。 平均是 29 個分數的未加權平均,我重算過,49.37 與 47.24 都對得上。但同一張表裡,LFM3 對 Qwen3.5 9B 只有 14 列比較高,另外 15 列比較低。贏的集中在幾個特定類別:
| 項目 | LFM3-1.7B | Qwen3.5 9B |
|---|---|---|
| AutomationBench(公開版) | 41.29 | 15.10 |
| WebArena-Verified | 38.42 | 28.94 |
| LiveClaw | 45.60 | 35.77 |
| BFCL V4 | 71.39 | 62.83 |
| IFBench | 73.03 | 48.84 |
| SWE-bench Verified | 43.40 | 51.20 |
| GPQA Diamond | 63.37 | 80.40 |
| RULER 128K | 65.56 | 87.11 |
領先最多的是 AutomationBench(差 26 分)和 WebArena-Verified、LiveClaw(各差約 10 分),前兩個正是官方訓練最後一步「在真實 agent harness 裡跑任務」直接對準的項目。我的判斷是:這些勝利是訓練方向的結果,不是憑空變聰明。官方自己也承認,agentic coding 和知識類(SWE-bench、GPQA Diamond)是大模型佔優。
幾個要打折的數字。
第一,RULER 128K 上 LFM2.5 2.6B 只有 1.15,而 LFM3 是 65.56。這個 1.15 看起來像是整個模型在這項測試上壞掉了,我沒辦法從公開資料判斷原因,所以不拿來當「LFM3 長上下文進步 57 倍」的證據。更有意義的對比是 Qwen3.5 4B 的 84.63 與 9B 的 87.11,兩者都比 LFM3 高將近 20 分。
第二,AA-Omniscience 這三列要分開看。LFM3 的 accuracy 是 7.07,六個模型裡最低;但 non-hallucination 是 92.93,也是最高,綜合指數 0.50 因此勝過 Qwen3.5 4B 的 -57.17。我的解讀是它比較常拒答而不是亂答,但這是我讀欄位名稱的推測,細節要看該指標的定義。如果你的應用需要模型「知道就答、不知道就說不知道」,這列很有用;如果你要它多答對一些,這列在告訴你不要靠它記知識。
第三,官方表「Agentic coding」三列(SWE-bench Verified、SWE-bench Multilingual、Terminal-Bench 2.1)LFM3 都低於 Qwen3.5 9B,Terminal-Bench 2.1 只有 12.92。model card 本身也寫了:不建議用於 agentic coding 或複雜的多步推理。
邊緣端的數字
官方在三台裝置上量測(AMD Ryzen AI Max+ 395、Apple M5 Max、iPhone 17 Pro),條件是 llama.cpp、Q4_0 GGUF、32K 上下文、批次 1、輸出 100 token。結論是 LFM3-1.7B 解碼速度比第二名快 1.8 到 2.8 倍,預填速度至少快 2.5 倍,記憶體用量最少。
兩個值得記的條件:LFM3 用的是「含 LFM3 支援的 llama.cpp 版本」,其他模型用 release b11744,兩邊不是同一個 build;而且 32K 上下文下的優勢,不等於你把 100K 的文件塞進去也一樣。
另一個我覺得更實用的數字是 KV cache:128K 上下文需要 1.6 GB,Qwen3.5 4B 要 4.3 GB,MiniCPM5 2B 要 5.6 GB。權重約 1 GB 加上 1.6 GB,我粗估整個程序在長上下文時會落在 2.6 GB 上下,這是我的算術,沒有實測,實際值會因框架而異。如果成立,它代表一台 8 GB 的筆電可以同時開著模型和其他工作;4B 級的對手同樣條件光 KV cache 就吃掉 4.3 GB。
伺服器端官方給的是單張 NVIDIA B300 搭配 SGLang、BF16、1,024 個並行請求,一天約 36 億 token。這個數字對個人使用者沒有意義,對想自架大量背景 agent 的團隊才有參考價值。
授權:能不能放進產品
model card 的授權欄寫 LFM Open License v1.0,Hugging Face 的 metadata 標 other。我讀了 LICENSE 全文,重點是第 5 條:商業使用的授權有門檻,授權的前提是你或你的法人實體年營收未超過 1,000 萬美元;超過的話,商業使用不在這份授權範圍內。符合資格的非營利組織做非商業或研究用途不受此限。
換句話說,個人、新創和小公司可以直接用;年營收過 1,000 萬美元的公司要先跟 Liquid AI 另外談。我不是律師,公司法務請自己讀原文。
什麼場景值得換成小模型
先講我認為值得的:
- 工具呼叫與結構化輸出為主的流程。 BFCL V4 的 71.39 與 IFStruct 的 93.72 都領先表上所有對手,而這類任務輸出格式固定,容易寫自動檢查。
- 一定要在本機跑的東西。 資料不能出門、或要在手機和筆電離線用,1 GB 級的權重讓它有機會。
- 要同時開很多個背景 agent。 官方的說法是 token 免費所以可以放著跑;成本的省下取決於你原本用什麼,這部分我沒有數字。
- 有明確任務、願意微調的情境。 官方說每個模型都能在單張 GPU 上微調,並附了 SFT、DPO、GRPO 的 Colab。他們展示的風力機葉片缺陷偵測,微調後分類準確率到 67%,微調前未達 10%;這是官方範例,我沒有重現。
不建議換的:
- 寫程式碼的 agent,尤其是要改真實 repo 的。
- 需要大量事實知識的問答。官方的作法是搭配搜尋:HLE 沒有工具時是 7.17,加上工具變 13.90,幾乎翻倍,但絕對分數仍然不高,也低於 Qwen3.5 9B 的 17.50。
- 很長的文件檢索與整理。RULER 128K 上它輸 Qwen3.5 系列近 20 分。
我還不知道的事
- 繁體中文的實際表現。model card 列了中文在支援語言裡,但官方表是英文 benchmark(Claw-Eval 標明 EN),沒有任何中文數字。
- 三台裝置以外的速度,尤其是沒有 GPU 的一般筆電和手機。
- 同樣的 agent 任務用 Q4 量化版跑,分數會掉多少。官方的 benchmark 是 BF16,邊緣測速是 Q4_0,兩組數字沒有放在同一張表裡。
- 第三方重現。發表才一天,獨立評測會不會給出相近數字,目前沒有資料。
想自己試的人,先這樣做
- 到 LiquidAI/LFM3-1.7B-GGUF 下載 Q4_K_M 版本,用含 LFM3 支援的 llama.cpp 或 LM Studio 開(舊版可能不認得這個架構,我沒驗證哪一版起支援)。
- 取樣參數照 model card:一般用途
temperature=0.1, top_k=50, repetition_penalty=1.1;數學與理科用temperature=1.0, top_p=0.95, top_k=20。 - 預設會先輸出思考過程,可以設
enable_thinking=False關掉,但官方提醒在需要推理的任務上這個行為不穩定。 - 拿你自己最常交給模型的三個任務,各跑十次,看格式錯誤率與重跑次數,再決定要不要換。官方表上的 29 列都不是你的任務。
出處:Liquid AI〈Introducing LFM3〉(2026-10-27)、Hugging Face LiquidAI/LFM3-1.7B model card 與 LICENSE(2026-10-28 讀取)。
常見問題
LFM3-1.7B 真的比 Qwen3.5 9B 強嗎?
官方表平均 49.37 對 47.24,但 29 列中只有 14 列較高。工具呼叫、WebArena、AutomationBench 領先;SWE-bench、GPQA Diamond、RULER 128K 落後。
LFM3-1.7B 可以商用嗎?
LFM Open License v1.0 允許商業使用,前提是年營收未超過 1,000 萬美元;超過者不在此授權範圍內。公司法務請自行讀原文。
LFM3-1.7B 要多少記憶體?
官方說 4-bit 約 1 GB,128K 上下文的 KV cache 約 1.6 GB。合計約 2.6 GB 是文中的粗估,未實測。