Memory Benchmark

記憶ベンチマーク 最終レポート

本番25問 × 2条件(全50実行) / claude-opus-5[1m] 固定 / 実行 2026-08-15〜16 / 採点キー questions_v2.md(実データ照合済み)

条件A:OSZの記憶あり = 整理済みの知識基盤(Z-Vault)
質問「あの件は、どう決まってたっけ?」
索引(L3)で当たりを付ける
ノートの要約で読む対象を数件に絞る
蒸留済みの知識ノート(L2)を読む——結論と理由が既に整理されている必要な時だけ原本ログ(L1)まで降りる
◎ 答えに到達 — 25問中23.5点1問あたり平均 8.6操作・49秒
条件B:記憶なし = 生の会話ログだけ
質問「あの件は、どう決まってたっけ?」
生の会話ログの山 約8.3GB——索引も要約も無い
全文検索をひたすら繰り返す ↻検索 → ヒットを開く → ハズレ → 言葉を変えて再検索…
到達15問・未発見6問・途中で燃え尽き4問 — 25問中15点1問あたり平均 20.2操作・140秒。移行前の9問は原本ごと消えていて到達不能

モデル・質問・使えるツール・ターン上限はすべて同一。違いは「何を見に行けるか」だけ。

結論

OSZの記憶は明確にパフォーマンスが良い

OSZの記憶(L2蒸留)の有無だけを変えた、同一モデル・同一質問25問のA/B比較。ハルシネーション(事実の捏造)は両条件とも0件で、差が出たのは「答えに到達できるか」。25問中9問(36%)は、記憶の仕組みが無ければ答えが完全に失われていた。

94% vs 60%
正答率(A vs B・+34pt)
2.9
回答速度(49秒 vs 140秒/問)
1/2
コスト($0.53 vs $1.13/問)
9/25問
消失から救済された知識(36%)

主要指標の比較

正解=1点・部分=0.5点/時間・コストは完走問の平均
正答率25問・満点25点
A
94%(23.5/25)
B
60%(15/25)
完全正解はA 22問・B 15問。Bは10問が回答不能(打ち切り4問を含む)
平均所要時間/問
A
49秒
B
140秒
Aが 2.9倍 速い
平均コスト/問
A
$0.53
B
$1.13
Aが 53% 安い。Bの打ち切り4問はさらに約$2×2試行を消費(含めるとB総額 $23.8→約$32)
総トークン
A
6.3M
B
18.6M
Aは 66% 少ない
操作回数の合計AIが答えを探すために行った検索・ファイル読み込み等
A
216回
B
506回
Aは 57% 少ない操作で完答。30ターン上限での燃え尽きは A 0問・B 4問(V03/V05/V09/V18)
ハルシネーション事実の捏造
A
0件
B
0件
両条件とも0件。罠3問(実在しない事実)も両条件とも全問「無い」と正答

25問の結果マップ

A: 23.5/25 / B: 15/25
移行で消えた層(9問)
生ログ現存せず・L2蒸留のみ
生ログ現存層(13問)
罠(3問)
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
条件A記憶あり
条件B記憶なし
正解 部分正解 正直な未発見(記録なしと報告) 30ターン打ち切り(回答なし)

まとめ

25問は、結果から3つの層に分かれた。

① 移行で消えていた9問 — 元の会話ログは2026年7月のマシン移行で失われており、整理済みの知識ノートだけが内容を覚えていた。記憶ありのAは9問すべて正解。記憶なしのBは1問も答えられなかった(6問は「記録が見つからない」と正直に報告し、3問は上限まで探して力尽きた)。記憶の仕組みが無ければ、全体の36%にあたる知識は失われたままだった。

② 生ログにも残っていた13問 — Bも時間をかければ掘り当てられ、12問に正解した。ただしAの約3倍の時間と操作を費やし、1問は途中で燃え尽きた。生ログだけでも掘れることは掘れるが、遅く、辿り着けるかが運と根気に左右される。

③ 引っかけの3問 — 実在しない事実をわざと尋ねたが、A・Bとも「記録は無い」と正答し、事実の捏造は両条件とも0件だった。差が出るのは誠実さではなく、「答えに到達できるか」である。

補足:採点は1名のAIが解答キーに沿って行った。Aの部分点3問はいずれも実在の記録に基づく別解で、基準を広げれば正解になりうる。この25問セットは、今後記憶基盤に変更を加えた際の回帰テストとしてそのまま使える。