Het grootste misverstand over AI-agents is dat het model onthoudt. Dat doet het niet. Elk gesprek begint leeg, en wat je gisteren zei is vanochtend nergens meer te vinden.
Wat in de praktijk “geheugen” heet, is een aparte laag software eromheen. Die laag is dit jaar volwassen geworden: er zijn benchmarks, er is een ecosysteem van eenentwintig frameworks en twintig opslagsystemen, en er zijn cijfers om over te praten in plaats van aannames. Mem0 bracht die stand van zaken samen in een overzicht, en daar staat een uitkomst in die tegen je intuïtie in gaat.
Meer geheugen maakt de antwoorden niet beter. Vaak maakt het ze slechter.
Wat die laag precies doet
De geheugenlaag zit tussen jouw gesprek en het model in, en doet vier dingen achter elkaar.
Stap 1 en 2 zijn het makkelijke deel. Je haalt uit een sessie wat blijvend is, en je schrijft dat weg als los feit in plaats van als transcript. Stap 4 is het deel dat mensen vergeten: zonder een mechanisme dat oude feiten ongeldig maakt, groeit je geheugen vol met tegenstrijdigheden.
Maar de kwaliteit van het eindantwoord wordt vrijwel volledig bepaald door stap 3. En dat is precies de stap die stukloopt naarmate de bak groeit.
Het knelpunt zit in het terugvinden
Er zijn inmiddels drie benchmarks die dit meten. LoCoMo legt 1.540 vragen voor over gesprekken die meerdere sessies beslaan. LongMemEval doet er 500, inclusief situaties waarin kennis onderweg verandert. En BEAM test op productieformaat: contexten van 1 miljoen en 10 miljoen tokens.
Die laatste is de interessantste, want die laat zien wat er gebeurt als het geheugen groeit. Mem0 rapporteert op BEAM een score van 64,1 bij 1 miljoen tokens. Bij 10 miljoen zakt dat naar 48,6. Tien keer zoveel materiaal, bijna een kwart slechtere antwoorden.
Op de kortere benchmarks staat er tegenover: 92,5 op LoCoMo en 94,4 op LongMemEval, bij ongeveer 7.000 tokens die per vraag daadwerkelijk worden meegestuurd. Dat is geen bak, dat is een selectie. En het zijn andere meetlatten dan BEAM, dus je kunt die getallen niet naast elkaar leggen alsof het dezelfde test is. Wat je er wél uit kunt halen is de richting: een kleine, goed gekozen selectie verslaat een grote stapel.
Dat is ook meteen het antwoord op de verleiding om het probleem met een groter contextvenster op te lossen. Je maakt de hooiberg dan groter, niet de naald vindbaarder.
Drie soorten geheugen, vier bereiken
Het overzicht deelt geheugen in drie soorten in, en die indeling is bruikbaar zodra je zelf iets gaat inrichten.
- Episodisch: wat er gebeurd is. Die test liep in mei, dit was de uitkomst, dit hebben we teruggedraaid.
- Semantisch: wat je weet. Dit account zit in die regio, dit is de marge, zo heet de doelgroep.
- Procedureel: hoe iets hoort te gaan. De vaste volgorde van een maandrapportage, de checks voordat een campagne live gaat.
Daarnaast krijgt elk geheugen een bereik: geldt het voor deze gebruiker, voor deze agent, voor deze ene sessie, of voor de hele organisatie? Dat klinkt als administratie, maar het is wat voorkomt dat een afspraak met één klant opduikt in het werk voor een andere.
Wat er in een geheugen hoort te staan
Als de ophaalstap bepalend is, dan is de vorm van een geheugen belangrijker dan de hoeveelheid. In de praktijk betekent dat: één feit per geheugen, een korte omschrijving erboven zodat het vindbaar is, en verwijzingen naar de geheugens die ermee samenhangen.
Maar de belangrijkste regel is een andere: schrijf niet alleen de conclusie op.
Een voorbeeld uit een webshop in kunstplanten die ik begeleid. De hypothese was dat regen de verkoop opdrijft, en de ruwe data leek dat te bevestigen: op regendagen 24 procent meer bestellingen. Na correctie voor seizoen bleef daar niets van over. De correlatie tussen dagtemperatuur en orders kwam uit op -0,04, die tussen regen en orders op +0,02. Allebei nul. Het natte seizoen is simpelweg het drukke seizoen, en die twee liepen door elkaar heen. In de advertentiedata zat dezelfde val: wat op een weereffect leek, was een zomercampagne die toevallig samenviel met warmer weer.
Dat geheugen bevat sindsdien vier regels:
- gemeten: een jaar orders tegen dagweer, met seizoenscorrectie binnen de maand
- leunt op: 229 orders, 61 aankopen uit advertenties, één zomer met weinig volume
- conclusie: geen stuurbaar weereffect
- dan wel: hitte- en regenperiodes taggen, budget twintig procent op en neer, incrementele omzet vergelijken
Die tweede regel is er niet voor de sier. Zonder de steekproef erbij wordt een uitkomst binnen een half jaar een wet. Met “één zomer, weinig volume” erbij blijft het een momentopname waarvan je kunt zien wanneer je hem opnieuw moet toetsen.
Wat er nog niet is opgelost
Het overzicht is eerlijk over de open problemen, en die zijn herkenbaar zodra je hier zelf mee werkt.
Veroudering. Feiten die stil verouderen zonder dat iemand doorheeft dat ze niet meer kloppen. Dit is het probleem waar de vier regels hierboven een antwoord op proberen te zijn: een geheugen dat zijn eigen houdbaarheid meedraagt.
Tijd op schaal. Redeneren over wanneer iets gebeurde en wat er sindsdien veranderde, is de zwakste plek. Er is vooruitgang geboekt, met bijna dertig punten winst op tijdredeneren en ruim twintig op vragen die meerdere stappen combineren, maar juist die vaardigheid zakt het hardst weg als de hoeveelheid groeit.
Identiteit over sessies heen. Herkennen dat de klant van vandaag dezelfde is als die van drie maanden geleden, ook als de bewoording anders is.
Wat ik ervan gebruik
Voor het werk dat ik doe komt het neer op drie dingen.
Ten eerste: klein houden en apart opslaan. Niet één groot document per klant, maar losse geheugens met een omschrijving, zodat de ophaalstap iets te kiezen heeft.
Ten tweede: geen cijfers bevriezen die morgen anders zijn. Dat werkte ik eerder uit in waarom je AI-agent in september hetzelfde voorstel doet dat in maart al sneuvelde: het geheugen bepaalt wélke vraag je stelt, de API geeft het antwoord.
Ten derde: de reden meeschrijven. Een regel zonder reden wordt genegeerd, door mensen en door agents.
De geheugenlaag is trouwens geen los onderdeel maar een van de lagen om een model heen, naast gereedschap, grenzen en de loop die het geheel aandrijft. Hoe die lagen zich tot elkaar verhouden staat in het AI-model is de commodity, de harness is het echte werk.
Tot slot
De reflex bij een agent die dingen vergeet is om meer mee te sturen. Groter venster, langere prompt, hele geschiedenis erin. De cijfers laten zien dat die reflex de verkeerde kant op wijst.
De winst zit in wat je weglaat en in hoe vindbaar je maakt wat overblijft. Dat is geen modelprobleem en ook geen prompttruc. Het is documentatie, geschreven voor een lezer die niets onthoudt en alles letterlijk neemt.