La memoria dell'IA, spiegata
Che cos'è la memoria dell'IA — e perché una finestra di contesto più grande non basta
«Memoria dell'IA» è la capacità di un assistente di trattenere nel tempo ciò che conta per te — i tuoi documenti, le tue decisioni, la tua storia — e di riportare il pezzo giusto quando lo chiedi. La versione ingenua è incollare tutto in un unico prompt lunghissimo. La ricerca dice che così fallisce in silenzio. Ecco il modello migliore.
La finestra di contesto non è memoria
La finestra di contesto di un modello è il suo spazio di lavoro a breve termine. È limitata, e appena qualcosa ne esce il modello si comporta come se non fosse mai esistito. Allargarla aiuta un po', ma non trasforma il contesto a breve termine in memoria duratura — e porta problemi propri.
- I modelli leggono peggio il centro di un contesto lungo, così ciò che è sepolto lì spesso sfugge.
- Accumulare altro testo smette di aiutare — e in molti modelli inizia a danneggiare — molto prima che la finestra sia piena.
- Il contesto lungo è caro: paghi per rielaborare tutto a ogni singola domanda.
La memoria vera è strutturata e gestita
L'alternativa, presa in prestito da decenni di progettazione di sistemi, è una gerarchia di memoria: tenere un piccolo insieme di lavoro nella finestra e un archivio grande e ordinato fuori, e far emergere i pezzi rilevanti quando servono. Il valore non sta in quanto riesci a stipare in un prompt, ma in quanto bene viene selezionata la porzione giusta. È la struttura, non il volume, a far funzionare la memoria.
È quello che costruisce FocusLM: un agente ti intervista per capire il problema, progetta un'ontologia di cartelle, scrive le proprie regole di archiviazione e ordina tutto ciò che gli dai in una memoria strutturata di markdown ispezionabile ed esportabile. Quando fai una domanda, riporta i passaggi rilevanti con la citazione — da qualunque punto provengano.
La ricerca, in parole semplici
Spiegazioni brevi e fondate dei lavori che stanno dietro a tutto questo — ognuna con un diagramma originale.
Cifrare la memoria dell'IA: perché una chiave per progetto batte una per database
Un'IA che ricorda la vostra vita custodisce materiale che non affidereste a uno sconosciuto. Cifriamo ogni file di memoria e ogni messaggio di chat con una chiave che appartiene solo a quel progetto, e la ricerca spiega perché le alternative ovvie perdono.
Più contesto non è sempre meglio: cosa succede oltre i 64k token
Un ampio studio su oltre 20 modelli ha rilevato che ammassare più testo recuperato nel prompt spesso smette di aiutare — e per molti modelli inizia a fare danno — ben prima che la finestra sia piena. Più grande non equivale a migliore.
E se un LLM gestisse la memoria come un sistema operativo?
La finestra di contesto è piccola e fissa. MemGPT prende in prestito un’idea vecchia di 40 anni dai sistemi operativi — una gerarchia di memoria con paginazione — per permettere a un modello di lavorare con molte più informazioni di quante ne entrino nella finestra.
RAG contro contesto lungo: quale conviene davvero usare?
Quando un modello può leggere un milione di token, il recupero è obsoleto? Uno studio di Google DeepMind dice di no — il contesto lungo vince sulla qualità quando puoi permettertelo, il recupero vince sui costi e un semplice router ottiene gran parte di entrambi.
Persi nel mezzo: perché le finestre di contesto lungo falliscono in silenzio
Gli LLM sfruttano l’inizio e la fine di un contesto lungo molto meglio del centro — un effetto a U che persiste anche nei modelli progettati per il contesto lungo. Ecco cosa dimostra la ricerca e cosa significa.