「緊急資金」で検索しても0件｜SQLite FTS5とunicode61トークナイザの罠

「ハイブリッド検索対応」と謳うローカル検索ツールで、日本語のキーワードだけ0件になった経験はないだろうか。

この記事では、SQLite FTS5の既定トークナイザ`unicode61`が日本語を分割できずに検索がヒットしなくなる原因の仕組みと、trigram・形態素解析・ICU・外部拡張という4つの対処法を整理します。

• なぜ日本語のキーワード検索だけ0件になるのか（原因の仕組み）
• trigram・形態素解析・ICU・外部拡張、4つの対処法の違いと選び方
• トークナイザを直せない場合の代替設計

Obsidianのナレッジベース（622ファイル）向けに、qmdというローカル検索ツールで埋め込みモデルの比較実験をしていたときのことだ。qmdはBM25（語彙検索）とベクタ検索のハイブリッドを謳っている。ところが、日本語の言い換えクエリ12問でBM25を測ったら、全問が圏外だった。P@1もP@3もP@5も、揃って0.000。埋め込みモデル側の実測結果は以下の記事にまとめてあるので、ここではBM25側の原因と対処法だけを書く。

原因：unicode61トークナイザは日本語を分割できない

原因を追ったら、全文検索インデックスの定義にあった。

CREATE VIRTUAL TABLE documents_fts USING fts5(
    filepath, title, body,
    tokenize='porter unicode61'
)

unicode61はUnicodeの空白と約物で単語を区切るトークナイザだ。英語なら問題ない。だが日本語は単語が空白で区切られていないので、文全体がひとつのトークンとして索引されてしまう。だから「緊急資金」で検索しても何にもヒットしない。

実際に確かめると、qmd search "緊急資金" は0件。ASCIIの qmd search "ruri" は5件正常に返る。

これは日本語でローカル検索ツールを使うとき、かなり広く当てはまる落とし穴だと思う。「ハイブリッド検索対応」と書いてあっても、日本語では片肺で動いている可能性がある。形態素解析ベースのトークナイザを組み込んでいるかどうかは、確認する価値がある。

対処法：trigram・形態素解析・ICU・外部拡張の4択

unicode61の限界は、SQLite FTS5を使う側では広く知られた問題であり、対処法もいくつか存在する。

「unicode61かtrigramか」は二者択一ではなく、両方を持たせるハイブリッド運用が実務では選ばれることも多い。まず試すならtrigramが手軽だ。追加コストゼロで導入でき、CREATE VIRTUAL TABLEの一行を変えるだけで日本語のヒット率が改善する。

自分が選んだ対処法：疎検索の再現率をwikilinkで補う

今回のqmdは、内部のトークナイザ設定をユーザー側から差し替えられる作りにはなっていなかった。ソースを改造すればtrigramへの切り替えは可能だが、比較実験の目的（埋め込みモデルの精度検証）からは外れる作業になる。

そこで、疎検索（BM25）で再現率を補えないなら、別の手段で補うことにした。幸いObsidianのVaultにはwikilinkという人間が引いた関連の網がある。埋め込み検索でヒットしたページから、そこに張られたリンクを辿って周辺のページも合わせて集める、という設計に切り替えた。

自分と同じようにローカル検索ツールを日本語コンテンツに使っていて、キーワード検索だけ妙にヒットしないと感じたら、まずtokenize=の設定を確認してみてほしい。原因はunicode61であることが多い。

→ このブログを書いている人について

関連記事

---

出典（2026年8月時点で確認）

• SQLite FTS5でCJK全文検索: trigramトークナイザーとハイブリッド戦略（Zenn）
• SQLite FTS5で日本語検索精度を上げる — trigram・同義語展開・RRFチューニング実践（Zenn）
• qmd（tobi/qmd, GitHub）