跨教科書 自動筆記生產流程：專科考試下的產物
緣起 我從醫學生時代就很愛做筆記，這些年累積了幾千份醫學筆記。但老實說，在資訊取得這麼容易、要學的東西又這麼多的現在，已經很難再把每一份筆記都按照自己的架構做到相同品質了。 另一方面，在現代資訊越來越多的時代，能信任的高品質來源反而變得珍貴，這時教科書就是很好的資訊來源。不過復健科專科考試指定參考書就有四十多本，同個概念可能散在好幾本書的不同章節裡。要真的把它們都念過，幾乎是不可能的事。 很幸運這年代有了 AI，這類大型語言模型 (LLM) 擅長處理的就是這樣的長上下文處理，可是一次丟給他幾百本教科書也不切實際。這時就搭配好的內容搜尋與資料庫管理，並且把我做筆記的流程講清楚、調教給 AI，能夠避免幻覺下，確保AI有根據、有架構地產出筆記，我只要用心把整理好的高密度資料吸收進腦袋就好。 於是這變成了一個大型的教科書 LLM Wiki 專案：把書本轉成 AI 容易讀取的格式、精準找到目標章節、按照我的架構整理呈現、從教科書把重要圖片抓進筆記，最後還能跟既有筆記整合。 今天把它開源了，這篇來講講中間過了哪幾關。 第一關：把書轉成 AI 適合讀的格式 直接把 PDF 丟給大模型有幾個坑：又慢又貴（上千頁的書逐頁讀，token 開銷很可觀）；掃描頁和字型編碼壞掉的頁面，他會若無其事地跳過，你不會發現筆記裡少了東西；圖片則是直接消失。 我的解法是把重活全部留在本機：文字抽取用 PyMuPDF，每頁約 0.13 秒、0 token。掃描頁走本地 OCR 階梯（Surya → PaddleOCR-VL → 本地視覺模型），真的都失敗才輪到大模型親自看。比較特別的是兩個細節： 靜默失敗偵測：用字型風險、字元密度等規則，抓出「看起來有抽到字、其實是亂碼」的頁面 雙欄排序：教科書常是雙欄排版，直接抽會把左右欄句子交錯在一起，而且亂碼偵測抓不到這種錯。我們做了欄位偵測，確保閱讀順序正確 第二關：把書切成可搜尋的單位 書轉好了，AI 要怎麼找到內容？傳統的目錄（index）不夠用，因為一個主題常散在好幾章；自己上 tag 也不實際，維護不完也切不夠細。答案是語意搜尋（semantic embedding）：把內容變成向量，用意思找而不是用關鍵字找。 這裡有個容易被忽略的設計：chunk（切塊）不是無腦固定字數。切太小會失去脈絡，切太大會稀釋語意。我們選擇照標題結構切塊，並保留每塊的上層章節脈絡，讓搜尋結果撈回來的每一塊都是有頭有尾的完整概念。 第三關：在幾十本書裡找到對的那本 跨書搜尋的底層，就是我之前開源的 vault-search 那套方法（那篇的介紹在這裡），本地 LanceDB 加 bge-m3 embeddings，資料不出自己電腦。 在這之上我們還加了一層：重點書目加權。考試指定用書、學會官方教科書，搜尋時分數會被調高，另外也有依出版年份的新舊加權。同一個主題，AI 會優先引用你最信任的來源。 第四關：建立寫筆記的 algorithm 與原則 工具都有了，真正決定筆記品質的是流程設計： 先盲寫：AI 先不看我的既有筆記，獨立從教科書查完完整資料寫草稿，最後才合併。這是為了避免被舊筆記的結構和內容干擾 Template 是抓取的依據：每種主題有固定模板，這個設計很重要，AI 知道該去書裡找哪些東西，我每次閱讀也知道會有哪些段落，吸收速度快很多。repo 裡直接附上我每天在用的五套模板（中英雙語），可以照著改成自己的 為理解而設計的段落：像是開頭的 Summary、結尾的 management algorithm，這種段落的存在本身就是在協助理解，不只是資料的堆放 沒有引用就不算數：每條主張都標到書名＋章節，AI 用自己知識補的內容一律標記為推論 第五關：從書裡抽出圖片 這是整套系統最難的部分，因為每本書的排版邏輯都不一樣。我們的做法是先有一套通用方法（幾何比對：圖說跟最近的圖像互相認領），配上決定論的 audit：留白檢查、文字滲入檢查，規則過了才算過，AI 說了不算，而且全程用省 token 的方式在本機執行。 ...
