Saya mulai melacak latihan saya di ChatGPT. Repetisi, beban, bagaimana perasaan sesi ini. Setelah beberapa minggu saya memintanya untuk membandingkan kinerja hari ini dengan sesi sebelumnya. Ini memberi saya perbandingan yang percaya diri dan mendetail. Angka-angkanya salah.

Tidak sedikit melenceng. Salah. Itu mengutip sesi yang tidak cocok dengan apa yang sebenarnya saya catat. Aku menelusuri kembali riwayat percakapanku. Data yang "dibandingkan" tidak ada dalam bentuk yang diklaimnya. Beberapa di antaranya tampak seperti ringkasan yang tidak berguna dari apa yang saya ceritakan beberapa minggu sebelumnya. Beberapa di antaranya tampak dibuat-buat.

Diagnosis alaminya adalah halusinasi. Model itu mengada-ada. Saya tidak dapat memastikannya. Apakah ChatGPT tidak pernah menyimpan data aslinya? Apakah ia menyimpan sesuatu dan kemudian merangkumnya? Apakah ingatannya melayang di antara sesi-sesi? Saya tidak punya cara untuk melihat apa yang diyakini sistem pada tanggal saya mencatat sesi-sesi tersebut, atau apakah sistem pernah menyimpan angka sebenarnya. Saya tidak bisa mengesampingkan halusinasi. Saya juga tidak bisa mengesampingkan korupsi.

Ketidakmampuan untuk membedakan adalah masalah sebenarnya. Pada sebagian besar sistem memori AI, Anda tidak dapat membedakan mode kegagalan mana yang Anda lihat. Alat diagnostiknya tidak ada. Hampir tidak ada yang membangunnya.

## Dua mode kegagalan, bukan satu

Industri ini memiliki satu kata untuk "model mengatakan sesuatu yang salah": halusinasi. Ini adalah solusi menyeluruh untuk setiap keluaran yang salah. Ketika agen menggunakan memori persisten, ada dua mode kegagalan yang berbeda. Mereka memerlukan perbaikan yang berbeda.

**Halusinasi** adalah kegagalan tingkat model. LLM menghasilkan konten tanpa dasar masukannya. Pengambilannya baik-baik saja. Generasi ini salah. Perbaikannya berada pada tingkat model: grounding yang lebih baik, generasi yang ditambah pengambilan, decoding yang dibatasi, rantai verifikasi.

**Korupsi memori** adalah kegagalan tingkat infrastruktur. Data yang disimpan salah. Model mengambilnya dengan setia. Jawabannya terlihat benar karena pengambilannya benar. Apa yang diambil telah berubah.

Kerusakan memori melewati setiap pemeriksaan yang dirancang untuk halusinasi. Bagian tersebut cocok dengan kueri. Model tersebut mengutip sumbernya. Outputnya didasarkan pada data yang disimpan. Setiap pagar pembatas mengatakan jawabannya berdasarkan informasi nyata. Informasinya salah.

## Mengapa korupsi adalah defaultnya

Setiap kategori utama memori agen menyimpan keadaan yang bisa berubah secara default.

Memori platform (ChatGPT, Claude, Gemini, Copilot) menimpa entri saat pembaruan. Tidak ada jejak versi. Sistem pengambilan (Mem0, Zep, LangChain Memory) menggabungkan atau mengganti memori saat digabungkan.

Sistem berbasis file (penurunan harga, JSON) tetap bisa berubah kecuali Anda menambahkan git. Git memberi Anda sejarah nyata dan perbedaan untuk repo kecil. Ini [skalanya buruk pada skala gigabyte](https://x.com/garrytan/status/2040797478434549792) untuk data yang ditulis agen, dan hanya sedikit tim yang memperlakukannya sebagai log awal untuk memori.

Basis data standar (SQLite, Postgres) dapat mengimplementasikan sumber peristiwa, tabel temporal, dan pemicu audit. Jalur defaultnya masih ditimpa: `UPDATE` menggantikan baris dan nilai lama hilang.

Tak satu pun dari hal ini yang mempertahankan [versi riwayat atau mencegah mutasi diam-diam](/memory-guarantees) secara langsung. Salah satu dari mereka *bisa*. Hampir tidak ada yang *melakukan*.

Bahkan desain baru yang bijaksana pun bisa jatuh ke dalam perangkap yang sama. [Spesifikasi GBrain] Garry Tan (https://Gist.github.com/garrytan/49c88e83cf8d7ae95e087426368809cb) mendapatkan banyak hal dengan benar: SQLite, FTS5, penelusuran vektor, MCP sejak hari pertama. Spesifikasi masih menulis ulang kebenaran yang dikompilasi alih-alih menambahkannya. Agen Anda menulis ulang 7.471 halaman dengan penggabungan yang buruk. Versi yang salah menjadi kanonik. Tidak ada jejak audit. Arsitektur bersih, model mutasi yang sama.

Ini bukanlah peluncuran yang buruk. Ini adalah budaya patokan untuk seluruh kategori. Metrik pengambilan jalur adopsi, bintang, dan pendanaan: penarikan kembali pada k (sering ditulis R@k), presisi, latensi, rasio kompresi. Metrik tersebut penting. Diperlukan pengambilan yang baik. Tidaklah cukup jika agen menulis ke memori mereka sendiri. Tidak ada benchmark yang digunakan secara luas untuk menguji apa yang terjadi pada data yang disimpan setelah data tersebut ditulis.

[MemPalace](https://github.com/milla-jovovich/mempalace) adalah contoh terbaru. Proyek ini mencapai 19.000 bintang GitHub dalam dua hari dengan "skor benchmark sempurna". [Analisis independen](https://penfieldlabs.substack.com/p/milla-jovovich-just-released-an-ai) menemukan bahwa nomor judulnya adalah [metrik penarikan kembali, bukan akurasi menyeluruh](https://github.com/milla-jovovich/mempalace/issues/27). Salinan peluncuran yang menyesatkan adalah masalah MemPalace. Struktur insentif adalah masalah kategori ini: 19.000 bintang untuk skor pengambilan, tidak ada pertanyaan tentang integritas penulisan. Supermemory, Mem0, dan setidaknya selusin lainnya yang saya lacak bersaing pada poros yang sama. Tidak ada yang mempublikasikan metrik tentang apakah fakta yang disimpan bertahan selama seminggu setelah agen menulis tidak berubah.

Untuk aplikasi tradisional, status yang bisa diubah tidak masalah. Untuk memori agen, ini adalah masalah. Agen sering menulis, melintasi sesi, terkadang dengan konflik. Dua sesi menulis nilai berbeda untuk bidang yang sama. Penulisan terakhir menang. Nilai pertama hilang. Tidak ada yang diberitahu. Tidak ada catatan yang berbeda.

Peringkasan yang didorong oleh LLM memperburuk hal ini. Sistem menggabungkan catatan lama menjadi ringkasan baru. Ringkasan menggantikan aslinya. Jika penggabungannya salah (dua orang digabung menjadi satu, satu detail hilang, ambiguitas terselesaikan dengan buruk), dokumen asli akan hilang. Anda tidak dapat membandingkan ringkasan dengan apa yang digantikannya. Apa yang digantikannya sudah tidak ada lagi.

Ini bukan teori. Ketika saya [memulihkan database produksi saya](/posts/how-i-lost-and-recovered-6000-memories) setelah menghapusnya, saya memiliki cadangan dari tanggal yang berbeda. Saya dapat membandingkan status entitas dari waktu ke waktu. Beberapa entitas berbeda antara pencadangan 3 Maret dan 9 Maret. Dalam sistem tambahan saja, kedua nilai bertahan sebagai pengamatan yang diberi stempel waktu. Dalam sistem yang bisa berubah, hanya sistem terbaru yang bertahan. Anda tidak akan pernah tahu bahwa nilai sebelumnya ada.

## Audit yang tidak dijalankan oleh siapa pun

Kebanyakan tim memeriksa halusinasi. Mereka memverifikasi bahwa keluaran model didasarkan pada konteks yang diambil. Mereka menguji apakah model tersebut menciptakan fakta.

Hampir tidak ada yang memeriksa apakah fakta yang disimpan telah berubah. Tanyakan:

**Dapatkah Anda melihat apa yang berubah?** Jika suatu nilai berbeda dari minggu lalu, dapatkah Anda melihat kedua nilai tersebut? Kapan hal itu berubah, dan apa yang memicunya?

**Dapatkah Anda memutar ulang keadaan di masa lalu?** Dapatkah Anda merekonstruksi keyakinan agen pada tanggal tertentu, bukan hanya gambaran hari ini?

**Dapatkah Anda melacak sumbernya?** Untuk fakta apa pun yang tersimpan, dapatkah Anda memberi nama agen, sesi, dan masukan yang membuat atau mengubahnya?

Jika jawabannya tidak, korupsi tidak akan terdeteksi. Bukan tidak mungkin. Tidak terdeteksi. Hal itu bisa saja terjadi saat ini. Anda tidak akan tahu sampai sesuatu di hilir rusak dan seseorang bertanya dari mana nomor itu berasal.

## Apa yang mencegahnya

Kerusakan memori bersifat struktural, bukan masalah model. Perintah yang lebih baik dan pengambilan yang lebih cerdas tidak menyelesaikan masalah. Perbaikannya bersifat arsitektural.

**Kekekalan.** Pengamatan tidak berubah setelah penulisan. Informasi baru adalah pengamatan baru. Yang lama tetap tinggal. Status entitas berasal dari riwayat penuh, bukan satu baris pun yang dapat diubah.

**Asal usulnya.** Setiap fakta membawa metadata: agen mana yang menulisnya, kapan, dari input apa, di sesi apa. Ketika suatu nilai terlihat salah, Anda melacak hak asuh. Ketika dua agen berkonflik, Anda melihat keduanya dan memilih.

**Pemutaran ulang sementara.** Status berasal dari log observasi, bukan dari satu baris saat ini. Anda dapat merekonstruksi keyakinan di masa lalu. Korupsi menjadi terlihat ketika keadaan saat ini dan masa lalu berbeda.

Properti ini membutuhkan biaya. Log yang hanya ditambahkan akan bertambah. Menghitung ulang status dari riwayat memerlukan biaya lebih dari sekadar membaca satu baris. Sistem yang terkonsolidasi memperdagangkan penyimpanan dan latensi terhadap riwayat penuh. Kekekalan menukar penulisan sederhana dan penyimpanan ketat demi kemampuan audit. Perdagangan itu bermanfaat ketika agen menulis memori yang memengaruhi hasil nyata. Bagi banyak kasus produksi, hal ini sudah terjadi.

Saya membangun properti ini ke dalam [Neotoma](https://neotoma.io). Saya tidak memperkirakan setiap skenario korupsi. Saya terus-menerus mencapai kondisi yang bisa berubah yang menghasilkan jawaban yang salah tanpa ada cara untuk mendiagnosisnya. Neotoma memerlukan waktu pemasangan. Ini bukan pengaturan nol. Anda tidak mengedit memori sebagai file biasa. Itu adalah biaya yang sebenarnya. Taruhannya adalah bahwa versi sejarah, asal usul, dan pemutaran ulang lebih penting daripada kenyamanan begitu agen menulis keadaan yang mendorong keputusan.

## Resiko majemuk

Korupsi bertambah dalam bentuk halusinasi yang biasanya tidak terjadi. Jawaban yang berhalusinasi sering kali hilang ketika seseorang membacanya dan berkata "itu salah". Satu percakapan, satu kesalahan.

Entri memori yang rusak masih ada. Itu diambil lagi. Ini membentuk keputusan di kemudian hari. Perbandingan latihan saya tidak gagal satu kali pun. Setiap perbandingan selanjutnya menggunakan data yang hilang atau hilang. Setiap jawaban tampak baik-baik saja. Kesalahannya tidak terlihat kecuali saya memeriksa ulang catatan saya sendiri, yang tidak sesuai dengan tujuan pelacak agen.

Skalakan itu ke taruhan nyata. Email yang salah dalam ingatan berarti setiap pengiriman ditujukan ke orang yang salah sampai seseorang menyadarinya. Jumlah dolar yang salah berarti lebih dari satu faktur buruk.

Korupsi ada di lapisan memori, bukan di modelnya. Debugging normal melewatkannya. Modelnya berfungsi. Pengambilannya berhasil. Data yang disimpan salah, atau tidak pernah disimpan dengan benar. Anda tidak dapat merekayasa infrastruktur masa lalu yang menghilangkan sejarahnya sendiri.

## Apa yang harus diperiksa

Jika Anda menggunakan memori agen, coba ini. Pilih lima entitas yang disimpan agen Anda lebih dari dua minggu lalu. Ambil kembali. Bandingkan nilai saat ini dengan apa yang Anda yakini telah Anda simpan sebelumnya.

Jika Anda tidak dapat melakukan perbandingan tersebut, sistem Anda tidak menyimpan riwayat. Anda buta terhadap korupsi. Bukan berarti korupsi terjadi. Itu berarti Anda tidak akan tahu jika itu terjadi. "Kami tidak akan tahu" tidaklah cukup ketika agen membelanjakan uang, menyentuh klien, atau memicu tindakan di dunia nyata.

Tolok ukur integritas penulisan yang serius akan berjalan seperti ini. Entitas benih N dengan nilai yang diketahui. Jalankan sesi agen M yang membaca dan menulis entitas yang sama. Tunggu seminggu. Bandingkan nilai yang disimpan dengan aslinya.

Dua skor penting. **Tingkat penyimpangan:** berapa bagian nilai yang berubah tanpa koreksi pengguna secara eksplisit? **Deteksi:** untuk setiap perubahan, dapatkah sistem menunjukkan waktu terjadinya, apa penyebabnya, dan nilai sebelumnya? Tidak ada laporan benchmark memori AI yang banyak digunakan saat ini.

Industri ini tepat untuk melawan halusinasi. Masalah yang lebih sulit sudah ada di dalam sistem yang terlihat sehat, karena hampir tidak ada yang memeriksa apakah fakta yang disimpan masih merupakan fakta yang disimpan.

## Kapan industri akan mulai bertanya

Integritas tulis tidak lagi bersifat opsional ketika kesalahan agen mempunyai label harga. Saat ini banyak kesalahan yang perlu diregenerasi atau diperbaiki dengan cepat. Agen semakin banyak [membayar, mengirim email, mengeksekusi kode, dan bertindak di dunia nyata](/posts/six-agentic-trends-betting-on). Ketika kegagalan yang merugikan disebabkan oleh ingatan yang melayang dan bukan perbincangan model, pemeriksaan postmortem menambahkan pertanyaan kedua setelah "apakah model tersebut berhalusinasi?" Apakah data yang disimpan berubah?

Tekanan tersebut tidak akan bertahan di dalam perusahaan yang memiliki tim kepatuhan. [Tekanan audit bergerak ke bawah pasar](/posts/six-agentic-trends-betting-on) di mana pun kesalahan memerlukan biaya. Konsultan, pembangun tunggal, dan tim kecil akan memerlukan jawaban yang sama: apa yang diyakini sistem saat menghasilkan keluaran tersebut? Jika lapisan memori Anda tidak dapat mengatakannya, lapisan memorilah yang bertanggung jawab.

Pemicunya adalah ekonomi, bukan filosofis. Postmortem publik pertama yang menyalahkan ingatan yang rusak secara diam-diam, bukan halusinasi, akan mengubah cara industri berbicara tentang keandalan. Postmortem itu adalah kapan, bukan jika.