モデル・質問・使えるツール・ターン上限はすべて同一。違いは「何を見に行けるか」だけ。
OSZの記憶(L2蒸留)の有無だけを変えた、同一モデル・同一質問25問のA/B比較。ハルシネーション(事実の捏造)は両条件とも0件で、差が出たのは「答えに到達できるか」。25問中9問(36%)は、記憶の仕組みが無ければ答えが完全に失われていた。
25問は、結果から3つの層に分かれた。
① 移行で消えていた9問 — 元の会話ログは2026年7月のマシン移行で失われており、整理済みの知識ノートだけが内容を覚えていた。記憶ありのAは9問すべて正解。記憶なしのBは1問も答えられなかった(6問は「記録が見つからない」と正直に報告し、3問は上限まで探して力尽きた)。記憶の仕組みが無ければ、全体の36%にあたる知識は失われたままだった。
② 生ログにも残っていた13問 — Bも時間をかければ掘り当てられ、12問に正解した。ただしAの約3倍の時間と操作を費やし、1問は途中で燃え尽きた。生ログだけでも掘れることは掘れるが、遅く、辿り着けるかが運と根気に左右される。
③ 引っかけの3問 — 実在しない事実をわざと尋ねたが、A・Bとも「記録は無い」と正答し、事実の捏造は両条件とも0件だった。差が出るのは誠実さではなく、「答えに到達できるか」である。
補足:採点は1名のAIが解答キーに沿って行った。Aの部分点3問はいずれも実在の記録に基づく別解で、基準を広げれば正解になりうる。この25問セットは、今後記憶基盤に変更を加えた際の回帰テストとしてそのまま使える。