لقد بدأت بتتبع تدريباتي في ChatGPT. التكرارات، الأوزان، كيف شعرت بالجلسة. وبعد بضعة أسابيع طلبت منه مقارنة أداء اليوم بالجلسات السابقة. لقد أعطتني مقارنة واثقة ومفصلة. الأرقام كانت خاطئة.

ليس بعيدا قليلا. خطأ. لقد استشهد بجلسات لا تتطابق مع ما قمت بتسجيله بالفعل. لقد عدت من خلال تاريخ المحادثة الخاص بي. البيانات التي كان "يقارنها" بها لم تكن موجودة بالشكل الذي ادعى به. بدا بعضها وكأنه ملخص ضائع لما قلته له قبل أسابيع. بدا البعض منها مخترعًا.

التشخيص الطبيعي هو الهلوسة. النموذج صنع الأشياء. لم أستطع تأكيد ذلك. هل لم يقم ChatGPT بتخزين البيانات الأصلية مطلقًا؟ هل قام بتخزين شيء ما ثم لخصه بعيدًا؟ هل كانت الذاكرة تنجرف بين الجلسات؟ لم يكن لدي أي طريقة لمعرفة ما يعتقده النظام في تاريخ تسجيل تلك الجلسات، أو ما إذا كان قد احتفظ بالأرقام الفعلية. لم أستطع استبعاد الهلوسة. ولا أستطيع استبعاد الفساد أيضًا.

إن عدم القدرة على التمييز هو المشكلة الحقيقية. مع معظم أنظمة ذاكرة الذكاء الاصطناعي، لا يمكنك معرفة وضع الفشل الذي تراه. أدوات التشخيص غير موجودة. تقريبا لا أحد يبنيها.

## وضعان للفشل، وليس واحدًا

الصناعة لديها كلمة واحدة تعني "قال النموذج شيئًا خاطئًا": الهلوسة. إنه الالتقاط لكل مخرجات غير صحيحة. عندما يستخدم الوكلاء الذاكرة الدائمة، هناك وضعان متميزان للفشل. إنهم بحاجة إلى إصلاحات مختلفة.

**الهلوسة** هي فشل على مستوى النموذج. يقوم LLM بإنشاء محتوى بدون أساس في مدخلاته. كان الاسترجاع جيدًا. لقد أخطأ الجيل. يتم إجراء الإصلاحات على مستوى النموذج: التأريض الأفضل، وتوليد الاسترجاع المعزز، وفك التشفير المقيد، وسلاسل التحقق.

**تلف الذاكرة** هو فشل على مستوى البنية التحتية. البيانات المخزنة خاطئة. النموذج يسترده بأمانة. تبدو الإجابة صحيحة لأن الاسترجاع كان صحيحا. ما تم استرجاعه قد تغير.

يجتاز فساد الذاكرة كل فحص مصمم للهلوسة. المقطع يطابق الاستعلام. يشير النموذج إلى مصدره. يرتكز الإخراج على البيانات المخزنة. يقول كل حاجز حماية أن الإجابة مبنية على معلومات حقيقية. المعلومات خاطئة.

## لماذا الفساد هو الوضع الافتراضي

تقوم كل فئة رئيسية من ذاكرة الوكيل بتخزين الحالة القابلة للتغيير بشكل افتراضي.

تقوم ذاكرة النظام الأساسي (ChatGPT وClaude وGemini وCopilot) بالكتابة فوق الإدخالات عند التحديث. لا يوجد مسار الإصدار. تقوم أنظمة الاسترجاع (Mem0، Zep، LangChain Memory) بدمج الذكريات أو استبدالها عند دمجها.

تظل الأنظمة القائمة على الملفات (markdown، JSON) قابلة للتغيير ما لم تقم بإضافة git. يمنحك Git التاريخ الحقيقي والاختلافات في عمليات إعادة الشراء الصغيرة. إنه [يتغير بشكل سيئ على نطاق الجيجابايت](https://x.com/garrytan/status/2040797478434549792) للبيانات المكتوبة بواسطة الوكيل، ولا يتعامل معها سوى عدد قليل من الفرق كسجل للكتابة المسبقة للذاكرة.

يمكن لقواعد البيانات القياسية (SQLite وPostgres) تنفيذ مصادر الأحداث والجداول الزمنية ومشغلات التدقيق. لا يزال المسار الافتراضي الخاص بهم يتم استبداله: يستبدل `UPDATE` الصف وتختفي القيمة القديمة.

لا شيء من هذه العناصر يحافظ على [سجل الإصدارات أو يمنع حدوث طفرة صامتة](/ضمانات الذاكرة) خارج الصندوق. أي واحد منهم *يمكن*. لا شيء تقريبا *لا*.

حتى التصاميم الجديدة المدروسة يمكن أن تقع في نفس الفخ. تحصل [مواصفات GBrain] الخاصة بـ Garry Tan (https://Gist.github.com/garrytan/49c88e83cf8d7ae95e087426368809cb) على الكثير من الأمور الصحيحة: SQLite، وFTS5، والبحث المتجه، وMCP من اليوم الأول. لا تزال المواصفات تعيد كتابة الحقيقة المجمعة بدلاً من إلحاقها بها. يقوم وكيلك بإعادة كتابة 7471 صفحة مع دمج سيء. تصبح النسخة الخاطئة أساسية. لا يوجد مسار التدقيق. بنية نظيفة، نفس نموذج الطفرة.

هذه ليست عملية إطلاق سيئة. إنها ثقافة مرجعية للفئة بأكملها. مقاييس استرجاع مسار الاعتماد والنجوم والتمويل: الاستدعاء عند k (غالبًا ما يُكتب R@k)، والدقة، وزمن الوصول، ونسبة الضغط. هذه المقاييس مهمة. الاسترجاع الجيد ضروري. لا يكفي أن يكتب الوكلاء إلى ذاكرتهم الخاصة. لا توجد اختبارات مرجعية مستخدمة على نطاق واسع لما يحدث للبيانات المخزنة بعد كتابتها.

[MemPalace](https://github.com/milla-jovovich/mempalace) هو مثال حديث. حقق المشروع 19000 نجم على GitHub في يومين بناءً على "نتائج قياسية مثالية". [تحليل مستقل](https://penfieldlabs.substack.com/p/milla-jovovich-just-released-an-ai) وجد أن الأرقام الرئيسية كانت [مقاييس استدعاء الاسترجاع، وليست الدقة الشاملة](https://github.com/milla-jovovich/mempalace/issues/27). تعد نسخة الإطلاق المضللة مشكلة في MemPalace. إن هيكل الحوافز هو مشكلة الفئة: 19000 نجمة لدرجات الاسترجاع، ولا توجد أسئلة حول سلامة الكتابة. تتنافس Supermemory وMem0 وما لا يقل عن اثني عشر آخرين أتتبعهم على نفس المحور. لا ينشر أي مقاييس حول ما إذا كانت الحقائق المخزنة ستبقى على قيد الحياة لمدة أسبوع من كتابات الوكيل دون تغيير.

بالنسبة للتطبيقات التقليدية، الحالة القابلة للتغيير جيدة. بالنسبة لذاكرة الوكيل فهي مشكلة. يكتب الوكلاء كثيرًا، عبر الجلسات، وأحيانًا مع وجود صراعات. جلستان تكتبان قيمًا مختلفة لنفس الحقل. الكتابة الأخيرة تفوز. القيمة الأولى تختفي. لا يتم إخطار أحد. لا يوجد سجل أنه كان مختلفا من أي وقت مضى.

التلخيص القائم على LLM يجعل الأمر أسوأ. تقوم الأنظمة بدمج السجلات القديمة في ملخصات جديدة. يحل الملخص محل النسخ الأصلية. إذا كان الدمج خاطئًا (تم دمج شخصين في شخص واحد، أو تم إسقاط أحد التفاصيل، أو تم حل الغموض بشكل سيئ)، فستختفي النسخ الأصلية. لا يمكنك مقارنة الملخص بما تم استبداله. ما حل محله لم يعد موجودا.

هذه ليست نظرية. عندما [استعدت قاعدة بيانات الإنتاج الخاصة بي](/posts/how-i-lost-and-recovered-6000-memories) بعد مسحها، كان لدي نسخ احتياطية من تواريخ مختلفة. يمكنني مقارنة حالة الكيان عبر الزمن. اختلفت بعض الكيانات بين النسخ الاحتياطية في 3 مارس و9 مارس. في نظام الإلحاق فقط، تبقى كلتا القيمتين كملاحظات ذات طابع زمني. في نظام قابل للتغيير، يبقى فقط الأحدث. لن تعرف أبدًا وجود القيمة السابقة.

## لا أحد يدير التدقيق

تقوم معظم الفرق بالتحقق من الهلوسة. يتحققون من أن مخرجات النموذج مؤرضة في السياق المسترد. إنهم يختبرون ما إذا كان النموذج يخترع الحقائق.

لا أحد تقريبًا يتحقق مما إذا كانت الحقائق المخزنة قد تغيرت. اسأل:

**هل يمكنك رؤية ما تغير؟** إذا كانت إحدى القيم مختلفة عن الأسبوع الماضي، فهل يمكنك رؤية القيمتين؟ متى تغير وما الذي أثاره؟

**هل يمكنك إعادة عرض الحالة الماضية؟** هل يمكنك إعادة بناء ما اعتقده العميل في تاريخ محدد، وليس فقط لقطة اليوم؟

**هل يمكنك تتبع المصدر؟** بالنسبة لأي حقيقة مخزنة، هل يمكنك تسمية الوكيل والجلسة والمدخلات التي أنشأتها أو غيرتها؟

إذا كانت الإجابة بلا، فقد يكون الفساد غير قابل للاكتشاف. ليس مستحيلا. غير قابل للاكتشاف. يمكن أن يحدث الآن. لن تعرف حتى ينكسر شيء ما ويسأل شخص ما من أين جاء هذا الرقم.

## ما الذي يمنع ذلك

يعد تلف الذاكرة مشكلة هيكلية وليست مشكلة نموذجية. إن المطالبات الأفضل والاسترجاع الأكثر ذكاءً لا تحل المشكلة. الإصلاح معماري.

**الثبات.** الملاحظات لا تتغير بعد الكتابة. المعلومات الجديدة هي ملاحظة جديدة. القدامى يبقون. يتم اشتقاق حالة الكيان من السجل الكامل، وليس من صف واحد قابل للتغيير.

**المصدر.** تحمل كل حقيقة بيانات وصفية: أي وكيل كتبها ومتى ومن أي مدخلات وفي أي جلسة. عندما تبدو القيمة خاطئة، يمكنك تتبع الحضانة. عندما يتعارض عميلان، ترى كليهما وتختار.

**إعادة مؤقتة.** الحالة تأتي من سجل المراقبة، وليس من صف واحد حالي. يمكنك إعادة بناء الإيمان في أي وقت مضى. يصبح الفساد واضحا عندما تتباعد الدول الحالية والسابقة.

هذه الخصائص تكلف شيئا. تنمو سجلات الإلحاق فقط. إن إعادة حساب الحالة من التاريخ تكلف أكثر من قراءة صف واحد. تقوم الأنظمة التي يتم دمجها بتداول التخزين وزمن الوصول مقابل التاريخ الكامل. تتداول الثبات عمليات الكتابة البسيطة والتخزين الضيق من أجل إمكانية التدقيق. هذه التجارة تستحق العناء عندما يكتب الوكلاء ذاكرة تؤثر على النتائج الحقيقية. بالنسبة للعديد من حالات الإنتاج، فهو كذلك بالفعل.

لقد قمت ببناء هذه الخصائص في [Neotoma](https://neotoma.io). لم أتوقع كل سيناريو الفساد. ظللت أصاب بحالة قابلة للتغيير أنتجت إجابات خاطئة دون أي طريقة لتشخيصها. يحتاج Neotoma إلى وقت التثبيت. إنه ليس إعدادًا صفريًا. لا تقم بتحرير الذاكرة كملف عادي. هذه تكاليف حقيقية. الرهان هو أن تاريخ الإصدار والمصدر وإعادة التشغيل يهم أكثر من الراحة بمجرد أن يكتب الوكلاء الحالة التي تدفع القرارات.

## المخاطر المركبة

يتفاقم الفساد بطريقة لا تحدثها الهلوسة عادة. غالبًا ما تموت الإجابة المهلوسة عندما يقرأها شخص ما ويقول "هذا خطأ". محادثة واحدة، خطأ واحد.

يستمر إدخال الذاكرة التالفة. ويتم استرجاعه مرة أخرى. فهو يشكل القرارات اللاحقة. مقارنات التمرين الخاصة بي لم تفشل مرة واحدة. وركزت كل مقارنة لاحقة على نفس البيانات المنجرفة أو المفقودة. كل إجابة تبدو جيدة وحدها. كان الخطأ غير مرئي إلا إذا قمت بمراجعة سجلاتي الخاصة، وهو ما يتعارض مع هدف متعقب الوكيل.

مقياس ذلك إلى حصص حقيقية. البريد الإلكتروني الخاطئ في الذاكرة يعني أن كل إرسال يذهب إلى الشخص الخطأ حتى يلاحظ شخص ما. المبلغ الخاطئ بالدولار يعني أكثر من فاتورة سيئة.

الفساد يعيش في طبقة الذاكرة، وليس في النموذج. التصحيح العادي يفتقده. النموذج يعمل. يعمل الاسترجاع. البيانات المخزنة خاطئة، أو لم يتم تخزينها بشكل صحيح على الإطلاق. لا يمكنك مطالبة هندسة البنية التحتية السابقة التي تسقط تاريخها.

## ما يجب التحقق منه

إذا كنت تستخدم ذاكرة الوكيل، جرب هذا. اختر خمسة كيانات قام وكيلك بتخزينها منذ أكثر من أسبوعين. استعادتها. قارن القيم الحالية بما تعتقد أنك قمت بتخزينه في الأصل.

إذا لم تتمكن من إجراء هذه المقارنة، فإن نظامك لا يحتفظ بالتاريخ. أنت أعمى الفساد. وهذا لا يعني أن الفساد حدث. وهذا يعني أنك لن تعرف إذا كان الأمر كذلك. إن عبارة "لن نعرف" ليست كافية بمجرد قيام الوكلاء بإنفاق الأموال، أو لمس العملاء، أو إطلاق إجراءات في العالم الحقيقي.

سيتم تشغيل معيار جدي لتكامل الكتابة على هذا النحو. كيانات البذور N ذات القيم المعروفة. قم بتشغيل جلسات وكيل M التي تقرأ وتكتب نفس الكيانات. انتظر اسبوع. مقارنة القيم المخزنة بالأصول.

درجتان مهمتان. **معدل الانجراف:** ما هي حصة القيم التي تغيرت دون تصحيح صريح من المستخدم؟ **قابلية الاكتشاف:** لكل تغيير، هل يستطيع النظام إظهار وقت حدوثه وسببه والقيمة السابقة؟ لا توجد تقارير معيارية لذاكرة الذكاء الاصطناعي مستخدمة على نطاق واسع اليوم أيضًا.

الصناعة على حق في محاربة الهلوسة. المشكلة الأصعب تكمن بالفعل داخل الأنظمة التي تبدو سليمة، لأنه لا أحد تقريبا يتحقق مما إذا كانت الحقائق المخزنة لا تزال هي الحقائق التي تم تخزينها.

## متى ستبدأ الصناعة بالسؤال

يتوقف تكامل الكتابة عن كونه اختياريًا عندما يكون لأخطاء الوكيل ثمن. اليوم يتم تجديد العديد من الأخطاء أو تعديلها بسرعة. يقوم الوكلاء بشكل متزايد [بالدفع وإرسال البريد الإلكتروني وتنفيذ التعليمات البرمجية والعمل في العالم الحقيقي](/posts/six-agentic-trends-betting-on). عندما يعود فشل مكلف إلى الذاكرة المنجرفة بدلًا من تفكيك النموذج، يضيف تشريح الجثة سؤالًا ثانيًا بعد "هل هلوس النموذج؟" هل تغيرت البيانات المخزنة؟

لن يبقى هذا الضغط داخل المؤسسات التي لديها فرق الامتثال. [تتحرك ضغوط التدقيق نحو الأسفل في السوق](/posts/six-agentic-trends-betting-on) عندما تكلف الأخطاء المال. سيحتاج المستشارون والبناؤون المنفردون والفرق الصغيرة إلى نفس الإجابة: ما الذي كان يعتقده النظام عندما أنتج هذا الناتج؟ إذا كانت طبقة الذاكرة الخاصة بك لا تستطيع أن تقول ذلك، فإن طبقة الذاكرة هي المسؤولية.

الدافع اقتصادي وليس فلسفي. إن أول تشريح علني بعد الوفاة يلقي باللوم على الذاكرة الفاسدة بصمت، وليس الهلوسة، سوف يغير الطريقة التي تتحدث بها الصناعة عن الموثوقية. إن تشريح الجثة هذا هو متى، وليس إذا.