retrieval parity corpus isolated by existing repository path - Liplus-Project/liplus-language GitHub Wiki

検索性能比較コーパスは既存リポジトリ内の path で隔離する

Question

GitHub RAG と Neuron Graph RAG の検索性能を、更新され続ける知識源や新規リポジトリ作成に依存せず、どう再現可能に比較するか。

Current resolution

比較用 Markdown コーパスは、変更権限のある既存リポジトリ内の専用ディレクトリへ不変スナップショットとして置き、GitHub RAG の repo 完全一致と path_prefix で検索母集合を隔離する。AI は比較環境のために新規リポジトリを作成しない。

Edges

  • なし

Background

Neuron Graph RAG の retrieval parity v3 は、固定した liplus-language commit の 93 Markdown 文書を対象に凍結した。しかし観測前に同リポジトリの main が進み、GitHub RAG 側の索引も新しい内容へ更新されたため、固定ソースと実検索面が一致せず、登録済みクエリを送らず fail-closed した。

Constraints

  • 比較開始後にコーパス内容と検索母集合が変化してはならない。
  • GitHub RAG と Neuron Graph RAG は同じ文書集合を検索しなければならない。
  • 他の通常文書が候補生成へ混入してはならない。
  • AI に新規 GitHub リポジトリを作成する権限はない。
  • 既存のリポジトリと通常の issue / PR フローだけで実現する。

Conclusion

既存リポジトリ内の専用 path を固定コーパス境界とする案を採用する。新規リポジトリによる隔離と、更新され続ける main を比較面として使い続ける案は採用しない。path_prefix は結果末尾の除外だけでなく、dense・sparse・scan の各候補集合へ同じ境界を適用する。

Related