語音辨識

今天搭火車出去玩，一邊滑手機，家裡的電腦正在幫我測試三個語音辨識模型。 這篇記錄整個測試過程，也記錄第一輪結論怎麼全部翻車。因為這件事最後提醒我的，不只是該換哪個模型，而是：AI 給的推論再有信心，還是要拿自己的資料跑過一次。 一條流水線的地基 三月開始用 LLM 協助讀書之後，我陸續把演講錄影丟給 Claude 整理。從一開始只截重點，慢慢規模化成一條流水線：逐字稿 → 對應投影片 → 總整理。 這條線的地基是語音轉文字（ASR，automatic speech recognition）模型。它聽錯多少，後面每一層筆記就錯多少。 原本用的是 OpenAI 的 Whisper large-v3。今天滑手機才發現，聯發科（MediaTek Research）去年有出 Breeze-ASR-25：從 Whisper-large-v2 微調，特別針對台灣華語和中英夾雜的情境優化，Apache 2.0 開源。今年還接著出了針對台語的 Breeze-ASR-26。 醫學演講正好是中英夾雜的重災區，聽起來很像為我的使用情境做的。跟以前一樣，我先把問題丟給 Claude：這適合我嗎？ 但這種問題查資料查不到答案。官方 benchmark 是官方的考卷，適不適合我的錄音，得自己測。 自己的資料自己測：評分方法 最理想的黃金標準，是人工精修過的逐字稿。但我沒有，也不想為了測試去精雕一份。替代方案是： 從上百本復健科教科書抓出 18 萬多個中英文醫學名詞，建成評分字典 每個模型的輸出跟字典程式化比對，算兩個數字：抓到多少真名詞（capture）、生出多少字典外的假名詞（garbage） 另外用段落密度把關，確保逐字稿還能跟投影片對得起來 這其實跟判讀診斷性研究很像。先確立 reference standard，分數才有意義。 字典不是完美的黃金標準，但它直接對應我在乎的結果：關鍵的醫學資訊有沒有被聽出來。如果你在乎的是時間、錯誤率、廣度或深度，那就要換一把對應的尺。 第一輪結論，全部翻車 先拿一段 10 分鐘的演講試水溫，Claude 給了三個結論： Breeze 比 Whisper 慢兩倍 英文名詞 Breeze 9:1 大勝 台語版 Breeze-ASR-26 應該不會講華語 看起來很有道理，也很像可以直接下決定了。 但我請他多測幾堂課、每個模型分開跑之後，三個結論全部被推翻： 慢兩倍是因為兩個模型載進同一個程序，在 8GB 顯卡上互搶記憶體。分開跑之後速度一樣。壞的是量測工具，不是模型。 9:1 是 Claude 自己挑爭議點來比的。讓 LLM 自己選證據，他注意到的點本來就偏向支持新模型，確認偏誤就這樣被帶進來。程式化全量統計後只有 2 到 3 比 1。 「台語版不會講華語」是從說明文件沒寫華語成績推論出來的，不是測試結果。實際測下去，跟 Breeze-ASR-25 打平。文件沒寫不等於不會。 只測量一次（n=1），三種偏誤同時中獎：儀器誤差、確認偏誤、缺席證據推論。這跟臨床上讀一篇診斷性研究要小心的坑一模一樣，只是這次踩坑的是我們自己。 ...