Nex Local Bench
Reproduzierbarer LongMemEval-Harness für lokale LLMs gegen Memory-Systeme
Lässt LongMemEval gegen jedes Memory-System laufen (Nex, Mem0, Graphiti, Letta) mit lokalem LLM-Reader (Qwen, Llama via Ollama). 50-Fragen stratifiziertes Oracle, Claude-Code-Subscription-Judge, null API-Kosten. Python, MIT.
Welches Problem es löst
Das Feld der gedächtnisgestützten Modelle hat ein Glaubwürdigkeitsproblem. Ein System veröffentlichte 2025 49 Prozent auf LongMemEval, dann im April 2026 93,4 Prozent auf einer Variante, die sonst niemand nachstellen kann. Ein anderes behauptete 96,6 Prozent in einem Papier ohne Begutachtung. Ein drittes schrieb 95,4 Prozent ins Marketing und 76,8 Prozent in den eigenen Messbericht. Begutachtete, wiederholbare Zahlen liegen irgendwo zwischen 65 und 85 Prozent. Dazu kommt: jede veröffentlichte Zahl benutzt einen Cloud-Leser, auch bei Systemen, die sich lokal-zuerst nennen.
Wie es arbeitet
Ein offener Prüfstand mit den Skripten, den Konfigurationen und den Zufallsstartwerten im Repo, damit eine Zahl nachgefahren statt geglaubt werden kann. Er fährt lokale Leser, Qwen 3 und Llama 3.1, gegen vier Gedächtnissysteme: ein selbst betriebenes Mem0, Graphiti, Letta und StudioMeyer Memory. Der Satz mit 50 Fragen läuft als Vorabprüfung, der mit 500 als voller Durchlauf.
Wann du es nimmst
Nimm es, wenn du Gedächtnissysteme selbst vergleichen willst statt ihr Marketing zu vergleichen. Der Wert liegt nicht in unserer Zahl, sondern darin, dass du deine eigene auf deiner Hardware mit deinem Leser erzeugen und die Streuung sehen kannst.
Wann du es nicht nimmst
Ein Benchmark ist eine Messung unter einem Satz Bedingungen, keine Rangliste, die etwas entscheidet. LongMemEval prüft die Erinnerung über lange Gespräche und sagt nichts über Laufzeit, Kosten, Betriebsaufwand oder darüber, wie sich ein System auf deinen echten Daten verhält. Wer eine einzelne Zahl von hier nimmt und auf eine Folie setzt, tut genau das, wogegen dieses Repo argumentiert.
Stars
★ 0
Clones (14d)
⊟ 3
Sprache
Python
Aktualisiert
2026-08-03