LFM3-1.7B 發表:官方跑分哪些能信,哪些場景值得換成小模型

LFM3-1.7B 官方平均 49.37,高於 Qwen3.5 9B 的 47.24,但同一張 29 列的表裡只有 14 列贏過 9B,領先集中在工具呼叫與瀏覽器、辦公室 agent 任務。寫程式、知識問答與 128K 長文檢索仍輸大模型。授權對年營收超過 1,000 萬美元的公司有限制。本文未實測,數字來自官方並附重算。

9 分鐘閱讀 發佈 2026年10月28日 English繁體中文
目錄 發表了什麼官方跑分表,我怎麼讀邊緣端的數字授權:能不能放進產品什麼場景值得換成小模型我還不知道的事想自己試的人,先這樣做

LFM3-1.7B 發表:官方跑分哪些能信,哪些場景值得換成小模型

Liquid AI 在 2026 年 10 月 27 日發表 LFM3 系列,其中的文字模型 LFM3-1.7B 只有 1.73B 參數,4-bit 量化後約 1 GB,官方跑分平均 49.37,比 9.7B 的 Qwen3.5 9B(47.24)還高。這種數字看到就想轉貼,但先看表怎麼編的再決定要不要信,比較省事。

這篇把官方 benchmark 表整個攤開讀過,告訴你哪幾列可以直接當決策依據、哪幾列要打折,最後給一份「我的任務該不該換小模型」的判斷清單。

先交代範圍:我想在本機編譯 llama.cpp、下載 GGUF 實跑,但執行環境不允許,所以這篇沒有任何自己實測的速度、記憶體或輸出。所有數字都來自 Liquid AI 的發表文與 Hugging Face model card,其餘是我拿同一張表重新計算的結果,會標明。

發表了什麼

LFM3 是一個家族,官方文章說首批有六個 2B 級模型,全部從同一個 LFM3-1.7B-Base 分支出來:

模型用途
LFM3-1.7B文字,本機 agent、工具呼叫、結構化輸出
LFM3-VL-2B圖片與影片輸入
LFM3-Audio-2B語音辨識、語音合成
LFM3-Omni-2B文字、圖片、影片、音訊輸入,輸出文字與語音
d1-2B、d1-omni-2B決策模型,一次回答多個結構化問題並附機率

權重開放(base 與 post-trained 版本),Hugging Face 上看得到,我 10 月 28 日讀取 LFM3-1.7B 頁面時顯示 6,311 次下載、212 個讚。上游 llama.cpp 的原始碼裡已經有 LFM3 的實作檔,GGUF 也有 Q4_K_M、Q8_0 等多種量化版本,所以本機跑起來不需要自己轉檔。

文字模型的規格:24 層,其中 13 層是門控短卷積、5 層是視窗 256 token 的滑動視窗注意力、6 層是全域注意力;詞彙表 128,000;上下文 256K;預訓練 22T token,最後 3.5T token 的中段訓練把上下文拉長到 256K。官方說這個混合結構是用「硬體在迴路」的架構搜尋找出來的,搜尋時量測的裝置從 LFM2 的兩台增加到 14 種裝置與後端組合,包含手機、Raspberry Pi 5、筆電和 Qualcomm Hexagon NPU。

官方跑分表,我怎麼讀

官方表有 29 列,對手是 LFM2.5 2.6B、MiniCPM5 2B、Gemma 4 E4B、Qwen3.5 4B 和 Qwen3.5 9B。幾個我認為該先知道的事:

條件是公開的。 所有模型用 vLLM、BF16、各自的完整上下文長度跑(LFM3、Qwen3.5 4B 與 9B 是 262,144,其餘是 131,072),沒特別註明的項目 temperature 0.6、top_p 0.95。BFCL、ToolSandbox 和 Claw-Eval 用貪婪解碼,agent 類另外限制回合數。這種寫法讓人有辦法重現,比只丟一張長條圖誠實。

但這是廠商自己跑的。 發表文沒有第三方重現,選哪些對手、選哪些 benchmark,都是 Liquid AI 決定的。對手裡沒有 Llama 或 Phi 系列的小模型,這是我讀表時看到的,不代表它們會贏。

「平均 49.37 勝過 9B」要拆開看。 平均是 29 個分數的未加權平均,我重算過,49.37 與 47.24 都對得上。但同一張表裡,LFM3 對 Qwen3.5 9B 只有 14 列比較高,另外 15 列比較低。贏的集中在幾個特定類別:

項目LFM3-1.7BQwen3.5 9B
AutomationBench(公開版)41.2915.10
WebArena-Verified38.4228.94
LiveClaw45.6035.77
BFCL V471.3962.83
IFBench73.0348.84
SWE-bench Verified43.4051.20
GPQA Diamond63.3780.40
RULER 128K65.5687.11

領先最多的是 AutomationBench(差 26 分)和 WebArena-Verified、LiveClaw(各差約 10 分),前兩個正是官方訓練最後一步「在真實 agent harness 裡跑任務」直接對準的項目。我的判斷是:這些勝利是訓練方向的結果,不是憑空變聰明。官方自己也承認,agentic coding 和知識類(SWE-bench、GPQA Diamond)是大模型佔優。

幾個要打折的數字。

第一,RULER 128K 上 LFM2.5 2.6B 只有 1.15,而 LFM3 是 65.56。這個 1.15 看起來像是整個模型在這項測試上壞掉了,我沒辦法從公開資料判斷原因,所以不拿來當「LFM3 長上下文進步 57 倍」的證據。更有意義的對比是 Qwen3.5 4B 的 84.63 與 9B 的 87.11,兩者都比 LFM3 高將近 20 分。

第二,AA-Omniscience 這三列要分開看。LFM3 的 accuracy 是 7.07,六個模型裡最低;但 non-hallucination 是 92.93,也是最高,綜合指數 0.50 因此勝過 Qwen3.5 4B 的 -57.17。我的解讀是它比較常拒答而不是亂答,但這是我讀欄位名稱的推測,細節要看該指標的定義。如果你的應用需要模型「知道就答、不知道就說不知道」,這列很有用;如果你要它多答對一些,這列在告訴你不要靠它記知識。

第三,官方表「Agentic coding」三列(SWE-bench Verified、SWE-bench Multilingual、Terminal-Bench 2.1)LFM3 都低於 Qwen3.5 9B,Terminal-Bench 2.1 只有 12.92。model card 本身也寫了:不建議用於 agentic coding 或複雜的多步推理。

邊緣端的數字

官方在三台裝置上量測(AMD Ryzen AI Max+ 395、Apple M5 Max、iPhone 17 Pro),條件是 llama.cpp、Q4_0 GGUF、32K 上下文、批次 1、輸出 100 token。結論是 LFM3-1.7B 解碼速度比第二名快 1.8 到 2.8 倍,預填速度至少快 2.5 倍,記憶體用量最少。

兩個值得記的條件:LFM3 用的是「含 LFM3 支援的 llama.cpp 版本」,其他模型用 release b11744,兩邊不是同一個 build;而且 32K 上下文下的優勢,不等於你把 100K 的文件塞進去也一樣。

另一個我覺得更實用的數字是 KV cache:128K 上下文需要 1.6 GB,Qwen3.5 4B 要 4.3 GB,MiniCPM5 2B 要 5.6 GB。權重約 1 GB 加上 1.6 GB,我粗估整個程序在長上下文時會落在 2.6 GB 上下,這是我的算術,沒有實測,實際值會因框架而異。如果成立,它代表一台 8 GB 的筆電可以同時開著模型和其他工作;4B 級的對手同樣條件光 KV cache 就吃掉 4.3 GB。

伺服器端官方給的是單張 NVIDIA B300 搭配 SGLang、BF16、1,024 個並行請求,一天約 36 億 token。這個數字對個人使用者沒有意義,對想自架大量背景 agent 的團隊才有參考價值。

授權:能不能放進產品

model card 的授權欄寫 LFM Open License v1.0,Hugging Face 的 metadata 標 other。我讀了 LICENSE 全文,重點是第 5 條:商業使用的授權有門檻,授權的前提是你或你的法人實體年營收未超過 1,000 萬美元;超過的話,商業使用不在這份授權範圍內。符合資格的非營利組織做非商業或研究用途不受此限。

換句話說,個人、新創和小公司可以直接用;年營收過 1,000 萬美元的公司要先跟 Liquid AI 另外談。我不是律師,公司法務請自己讀原文。

什麼場景值得換成小模型

先講我認為值得的:

  • 工具呼叫與結構化輸出為主的流程。 BFCL V4 的 71.39 與 IFStruct 的 93.72 都領先表上所有對手,而這類任務輸出格式固定,容易寫自動檢查。
  • 一定要在本機跑的東西。 資料不能出門、或要在手機和筆電離線用,1 GB 級的權重讓它有機會。
  • 要同時開很多個背景 agent。 官方的說法是 token 免費所以可以放著跑;成本的省下取決於你原本用什麼,這部分我沒有數字。
  • 有明確任務、願意微調的情境。 官方說每個模型都能在單張 GPU 上微調,並附了 SFT、DPO、GRPO 的 Colab。他們展示的風力機葉片缺陷偵測,微調後分類準確率到 67%,微調前未達 10%;這是官方範例,我沒有重現。

不建議換的:

  • 寫程式碼的 agent,尤其是要改真實 repo 的。
  • 需要大量事實知識的問答。官方的作法是搭配搜尋:HLE 沒有工具時是 7.17,加上工具變 13.90,幾乎翻倍,但絕對分數仍然不高,也低於 Qwen3.5 9B 的 17.50。
  • 很長的文件檢索與整理。RULER 128K 上它輸 Qwen3.5 系列近 20 分。

我還不知道的事

  • 繁體中文的實際表現。model card 列了中文在支援語言裡,但官方表是英文 benchmark(Claw-Eval 標明 EN),沒有任何中文數字。
  • 三台裝置以外的速度,尤其是沒有 GPU 的一般筆電和手機。
  • 同樣的 agent 任務用 Q4 量化版跑,分數會掉多少。官方的 benchmark 是 BF16,邊緣測速是 Q4_0,兩組數字沒有放在同一張表裡。
  • 第三方重現。發表才一天,獨立評測會不會給出相近數字,目前沒有資料。

想自己試的人,先這樣做

  1. 到 LiquidAI/LFM3-1.7B-GGUF 下載 Q4_K_M 版本,用含 LFM3 支援的 llama.cpp 或 LM Studio 開(舊版可能不認得這個架構,我沒驗證哪一版起支援)。
  2. 取樣參數照 model card:一般用途 temperature=0.1, top_k=50, repetition_penalty=1.1;數學與理科用 temperature=1.0, top_p=0.95, top_k=20。
  3. 預設會先輸出思考過程,可以設 enable_thinking=False 關掉,但官方提醒在需要推理的任務上這個行為不穩定。
  4. 拿你自己最常交給模型的三個任務,各跑十次,看格式錯誤率與重跑次數,再決定要不要換。官方表上的 29 列都不是你的任務。

出處:Liquid AI〈Introducing LFM3〉(2026-10-27)、Hugging Face LiquidAI/LFM3-1.7B model card 與 LICENSE(2026-10-28 讀取)。

常見問題

LFM3-1.7B 真的比 Qwen3.5 9B 強嗎?

官方表平均 49.37 對 47.24,但 29 列中只有 14 列較高。工具呼叫、WebArena、AutomationBench 領先;SWE-bench、GPQA Diamond、RULER 128K 落後。

LFM3-1.7B 可以商用嗎?

LFM Open License v1.0 允許商業使用,前提是年營收未超過 1,000 萬美元;超過者不在此授權範圍內。公司法務請自行讀原文。

LFM3-1.7B 要多少記憶體?

官方說 4-bit 約 1 GB,128K 上下文的 KV cache 約 1.6 GB。合計約 2.6 GB 是文中的粗估,未實測。

出處

  1. 01 Introducing LFM3(Liquid AI,2026-10-27)liquid.ai
  2. 02 LiquidAI/LFM3-1.7B model card 與 LICENSEhuggingface.co
  3. 03 Build specialized multimodal models with LFM3(Hugging Face blog)huggingface.co
#LFM3#小模型

相關內容

把 AI 工具用好的知識媒體

© 2026 Perhapxin Tech CO., LTD.zero2.perhapxin.com