В конце разговора я отправил другу ссылку на мой продукт и попросил его агента сообщить ему, будет ли это полезно.

Он ломал голову над тем, как бы его использовать. Его агент по искусственному интеллекту прочитал сайт, проанализировал его рабочие процессы и подготовил двухстраничную оценку с конкретными вариантами использования, сравнением с конкурентами и искренними опасениями. Он определил четкий сценарий, когда ему понадобится продукт для его агентского бизнеса B2B.

Это было лучше, чем все, что я получал за несколько недель звонков. Это также спровоцировало последующий текстовый разговор, который пошел глубже, чем звонок.

В течение часа я обратился еще к дюжине людей. За три недели всего 26 человек: основатели, инженеры, опытные пользователи искусственного интеллекта, люди, управляющие собственными стеками агентов. Около 18 получили одинаковую агентскую оценку. Остальные давали обратную связь посредством звонков или сообщений без привлечения агента.

Продукт — [Neotoma](https://neotoma.io), система структурированной памяти для агентов ИИ. Я использую его ежедневно, чтобы решить свою собственную проблему: управлять контактами, финансами, задачами, контентом и разговорами в [мультиагентном стеке](/posts/what-my-agentic-stack-actually-does). Недавно я [переработал сайт](/posts/neotoma-site-overhaul-developer-feedback), чтобы сделать его более разборчивым. Мне нужно было знать, нужно ли это кому-нибудь еще, не говоря уже о том, чтобы понять это.

До этого я потратил неделю на создание [приложения для проведения интервью](https://github.com/markmhendrickson/interviews) для автоматизации структурированных оценок со сценариями, связанными с Neotoma, для предоставления контактов, отправки приглашений и синхронизации результатов. Я не закончил это. Но метод подсказки агента в любом случае сделал это практически неактуальным. Никакого пользовательского интерфейса, никакого расписания, никакого структурированного собеседования. Просто ссылка и вопрос.

## Настройка

Подсказка для оценки была простой. Я бы поделился чем-то вроде: «Друг строит это. Можете ли вы сказать мне, будет ли это полезно или нет?» Затем ссылка на сайт продукта. Агент человека будет читать сайт, рассматривать рабочие процессы человека и сообщать об этом.

Один поток использовал эту форму слово в слово — строка ниже дословно скопирована из сохраненных мной метаданных исходящего сообщения:

> Друг создает это и хочет знать, будет ли это полезно или нет: https://neotoma.io

Та же подсказка, другой человек. Их агент сопоставил продукт непосредственно с болевыми точками в стеке человека:

> Это выглядит действительно полезно. Почему это важно для вашего варианта использования:
>
> Проверки Heartbeat: отслеживание «последней проверенной электронной почты» или «последнего сканирования календаря» в файлах JSON работает, но ненадежно. Неотома сделал бы это правильно. Многоагентная оркестровка: когда вы создаете субагенты, которым необходимо координировать свои действия, они в настоящее время не могут надежно обмениваться состоянием.
>
> Это полезно? Да, если ваш друг серьезно относится к тому, чтобы продюсеры со временем выполняли настоящую работу. Для вашего конвейера написания-призрака и межсессионной координации это может устранить реальную болевую точку.

Большинство пересылали полный ответ агента в течение 24 часов посредством текстового сообщения или электронной почты, многие — в течение часа или двух. Некоторые подвели итоги по телефону. Некоторые давали обратную связь только для людей, без привлечения агента.

Я все отслеживал в самой Неотоме. Neotoma хранит структурированные объекты (контакты, задачи, записи отзывов, разговоры) с версионными наблюдениями, поэтому я могу видеть, как каждая оценка развивается с течением времени, и связывать ее с человеком, который ее дал. Каждая оценка становилась объектом обратной связи с подсказкой, которую я использовал, агентом, который ответил, полным текстом ответа, любыми последующими действиями человека, каналом и моей оценкой мощности сигнала. К концу у меня было более 45 записей отзывов, связанных с контактами, историями разговоров и аналитическими заметками.

## Что агенты делают по-другому

Три вещи сделали обратную связь, опосредованную агентом, лучше, чем традиционные беседы по исследованию клиентов.

### Они честны

Агент сказал одному оценщику: «Это не для вас. Необходимая вам непрерывность между сеансами зависит от контекста и голоса, а не от детерминированного управления версиями состояния». Оценщик направил полный ответ без отказа. Человек в том же разговоре, возможно, сказал что-то вежливое и пошел дальше.

Другой агент положительно оценил продукт, но отметил риски безопасности зависимостей в процессе установки. Он рекомендовал владельцу не устанавливать проблему, пока они не будут устранены. С тех пор я их исправил (они были связаны с ужесточением управления зависимостями), но отзывы были честными, конкретными и более полезными, чем «выглядит круто, проверю позже».

Другой агент в целом оценил продукт положительно, но заключил: «Рынок управления состоянием агентов сейчас крошечный, и большинство людей, создающих агенты, еще не достигли болевой точки. Они потянутся к нему после того, как сожгутся из-за молчаливой перезаписи или потеряют контекст, не раньше». Это не комплимент, завернутый в поощрение. Это оценка риска, проводимая без социальной фильтрации.

Один человек действительно соответствовал такой прямоте. Он сказал мне, что такое позиционирование было похоже на «попытку найти проблемы, которые решает ваше решение, а не проблемы, которые необходимо исправить». Он исключение. Большинство людей не скажут этого вам в лицо. Агенты сделают это.

### Они особенные

Один агент выявил три конкретные болевые точки в рабочем процессе своего владельца, которые владелец никогда не озвучивал в случайном разговоре: одновременная запись в общий объект, ограничения масштаба в системе контактов на основе уценки и отслеживание происхождения («Что мой агент знал об этом человеке на момент написания этого письма?»).

Реакция человека на звонок была «интересным экспериментом». Обратная связь агента заключалась в следующем: «Вот именно здесь нам это не подходит, и вот три возможности, которые нам понадобятся».

Другой агент провел полный конкурентный анализ, сравнив продукт с пятью альтернативами, а затем сопоставил каждый из них с конкретными пробелами в рабочем процессе в настройке его владельца. Это заняло около 30 секунд. Человеку понадобится неделя исследований, чтобы провести такое же сравнение, и он не станет беспокоиться о побочном проекте друга.

Разрыв в специфичности частично связан со знаниями. Агенты имеют доступ ко всему контексту своего владельца: файлам, инструментам, недавним разговорам, структуре проекта. Но речь идет также о стимулах. Агент, которого попросили оценить, не боится быть слишком критичным или слишком подробным. Он просто оценивает.

### Они раскрывают, для кого предназначен продукт

Это было неожиданным открытием. Агенты, которые сами используют инструменты, то есть агенты, работающие в Claude Code или Cursor с серверами MCP, выполнением кода и доступом к файловой системе, неизменно оценивают продукт более благосклонно, чем чат-боты, предназначенные только для поиска, такие как веб-интерфейс ChatGPT или базовый сеанс Gemini.

Агенты в стиле чат-бота говорили такие вещи, как «интересная концепция» или «может быть полезно для некоторых разработчиков». Агенты, использующие инструменты, говорили что-то вроде «у нас есть именно такая проблема» и «вот три рабочих процесса, в которых мы бы использовали это сегодня».

Шаблон имеет смысл. Агент, который управляет состоянием между сеансами, записывает в файлы и координирует свои действия с другими инструментами, имеет непосредственный опыт решения проблем с памятью, которые решает продукт. Чат-бот, генерирующий текст в окне без сохранения состояния, этого не делает. Ценность продукта наиболее очевидна для агентов, разделяющих архитектурную проблему, которую он решает.

Это имеет значение для распространения. Если агенты, использующие инструменты, будут более точно оценивать инструменты разработчиков и если эти агенты будут все чаще принимать или влиять на решения об использовании инструментов для своих владельцев, тогда рекомендации между агентами станут реальным каналом. Не абстрактно. В том конкретном смысле, что положительная оценка агента-оценщика может привести к установке его владельцем, а последующее использование этим агентом инструмента делает его видимым для других агентов в стеке владельца.

## Что бы я сделал по-другому

Несколько вещей, которые я узнал о самом методе:

**Попросите агента оценить «для меня», а не в целом.** Некоторые оценки представляли собой общий анализ стартапа: размер рынка, конкурентная среда, жизнеспособность бизнес-модели. Полезно, но не то, что мне нужно. Лучшими оценками были те, в которых агент сравнивал продукт с конкретными рабочими процессами его владельца. Когда в подсказке говорилось: «Будет ли это мне полезно?» агент извлек из реальных файлов, инструментов и недавних проектов человека. Когда в подсказке говорилось «оцените этот продукт», агент написал памятку консультанту. Первый говорит вам, есть ли у этого человека боль. Второй расскажет вам, что подумал бы выпускник MBA.

**Поощряйте человека позволить агенту действовать первым.** Когда кто-то попросил своего агента оценить ситуацию, прежде чем формировать собственное мнение, я получил самый насыщенный сигнал. Техническая оценка агента и последующая реакция человека на нее были двумя разными точками данных. Разрыв между ними ценен. Когда агент говорит: «Вам это нужно», а человек говорит: «Я проверю это позже», риск активации виден еще до того, как человек установит программу. Когда вы сначала спрашиваете человека, он фиксируется на своей первоначальной реакции, и через нее фильтруется оценка агента.

**Улучшите свой сайт, чтобы агенты его читали.** Агенты оценивают ваш сайт, читая его. Если сайт расплывчатый, то и оценка расплывчатая. На полпути я понял, что мне нужно улучшить то, как мой сайт представляет информацию для активных читателей, а не только для людей. Структурированные данные, четкие постановки задач, конкретные варианты использования и машиночитаемая документация — все это делает оценку агента более точной. Это ранняя форма того, что некоторые называют оптимизацией оценки агентов (AEO). Если агенты дают рекомендации по внедрению инструментов, ваш сайт должен быть для них понятен. Я пошел дальше после завершения исследовательского процесса, который я описываю ниже.

**Отслеживайте тип агента.** Агенты с доступом к инструментам давали качественно иные отзывы, чем агенты, работающие только с поиском. Сначала я не отслеживал это систематически, и мне пришлось реконструировать это позже. Если вы запустите этот процесс, обратите внимание, есть ли у агента оценщика MCP, выполнение кода или доступ к файловой системе. Это коррелирует с глубиной оценки.

**Не переоптимизируйте подсказку для исследования.** Моя подсказка была нечеткой. «Друг строит это. Будет ли это полезно?» Некоторые люди могут разработать сложные схемы оценки. Я думаю, что свободная подсказка лучше подходит для исследования. Это позволило каждому агенту создать собственную аналитическую структуру, которая показала, как разные агенты думают об одном и том же продукте. Этот вариант был информативным. Когда цель смещается от исследования к конверсии, структура имеет большее значение. Вот почему на странице оценки, которую я описываю ниже, используется подробный сценарий из пяти шагов, а не свободная подсказка, которую я использовал с друзьями.

## Когда этот метод работает

Этот подход работает лучше всего, когда ваш продукт технический, ваши оценщики являются опытными пользователями ИИ, а агенты имеют достаточный контекст о рабочих процессах своего владельца, чтобы дать конкретные оценки.

Это работает хуже для потребительских товаров, для оценщиков, которые не используют агенты искусственного интеллекта регулярно, или для продуктов, ценность которых является эстетической или эмоциональной, а не функциональной. Агент может сказать вам, решает ли система памяти проблему рабочего процесса. Он не может сказать вам, заслуживает ли бренд доверия.

Это также работает лучше всего, когда у вас есть надежная сеть, из которой можно черпать информацию. Я обратился к 26 людям, которых знал лично или с которыми имел связь. Холодное обращение к незнакомцам с просьбой провести оценку агента, вероятно, потерпит неудачу. Социальное доверие, которое заставляет кого-то пересылать ответ агенту, — это то же самое доверие, которое заставляет исследования клиентов на людях работать. Агенты просто предоставят вам более качественные данные, как только возникнет доверие. Процесс исследования также изменил мое представление о процессе приобретения сайта. В следующем разделе я опишу, как я встроил оценку непосредственно в продукт.

Двадцать из 26 дали содержательные отзывы. Три находятся на рассмотрении. Процент попаданий был выше, чем при любом опросе или собеседовании, которые я проводил раньше. Частично это сеть. Частично это связано с тем, что попросить чьего-то агента оценить что-то — это более низкая просьба, чем запланировать 30-минутный звонок. Человек просто пересылает ответ. Это занимает две минуты.

## От приглашения к продукту

Процесс исследования изменил то, как я создаю сам сайт. Свободная подсказка, которой я поделился с друзьями, сработала, но это зависело от того, что агент импровизирует структуру оценки. Некоторые агенты провели строгие оценки. Другие написали памятные записки для консультантов. Этот вариант был информативным для исследования клиентов, но это не то, что вам нужно, когда цель смещается в сторону конверсии человека, который зашел на ваш сайт врасплох.

![Страница Neotoma /evaluate](/images/posts/neotoma-evaluate-page-screenshot.png)

Поэтому я включил оценку в процесс приобретения продукта. [Домашняя страница Neotoma](https://neotoma.io) теперь содержит в качестве основного призыва к действию «Попросите своего агента оценить», а не «Установить» или «Начать». Он указывает на специальную страницу [/evaluate](https://neotoma.io/evaluate), предназначенную для чтения агентами, а не только людьми. Страница содержит структурированный сценарий оценки из пяти шагов, которому может следовать любой агент, независимо от того, какой инструмент запускает пользователь.

Сценарий улучшает приглашение, которым поделились друзья, определенным образом:

1. **Проверка контекста.** Прежде чем что-либо сказать, агент проверяет установленные пользователем инструменты, конфигурации MCP, сценарии автоматизации, каталоги проектов и существующие системы памяти. Это основывает оценку на реальном рабочем процессе человека, а не на одном окне чата.
2. **Один целевой вопрос.** Основываясь на том, чего он еще не знает, агент спрашивает о шаблонах сеансов пользователя или ограничениях инструментов.
3. **Краткое продолжение**. Еще один или два вопроса, чтобы заполнить оставшиеся пробелы.
4. **Честная оценка.** Подходит ли Neotoma, какие конкретно проблемы она решит с точки зрения пользователя, с чего начать и что хранить в первую очередь. Если у агента не было доступа к более широкому контексту, он говорит об этом и формулирует рекомендацию как предварительную.
5. **Каноническая последовательность.** Если агент оценивает сильное или умеренное соответствие, он напрямую спрашивает пользователя, хочет ли он продолжить. Последовательность такова: оценка, затем установка, затем активация, затем настройка инструментов. Агент читает руководство по установке, при необходимости запускает `npm install -g neotoma` и `neotoma init`, а затем проводит пользователя через контекстную активацию: обнаружение кандидатов на ценные данные, предварительный просмотр того, что нужно хранить, прием подтвержденных источников, восстановление временной шкалы с указанием происхождения и выполнение последующего запроса с исправлением.

Первое реальное знакомство пользователя с продуктом — это реконструированная временная шкала на основе его собственных данных, а не страница документации.

Это отличается от специальных подсказок, которые я использовал во время исследования клиентов. В этой подсказке спрашивалось: «Это полезно?» На странице оценки агенту предлагается оценить соответствие, определить начальную точку с наивысшей ценностью, а затем выполнить полную регистрацию, если пользователь хочет продолжить. Агент становится каналом привлечения. Он оценивает, рекомендует, устанавливает и активирует — и все это за один сеанс, независимо от того, с каким инструментом уже работает пользователь.

Я пока не знаю, конвертируется ли это лучше, чем традиционная целевая страница с кнопкой «Начать». Но логика проста: если именно агенты оценивают актуальность инструментов для их владельцев, то сайт должен быть оптимизирован для того, чтобы агенты могли оценивать и действовать, а не только для того, чтобы люди могли читать и добавлять в закладки.

## Итог

Персонализированное исследование клиентов, проводимое агентами, дало мне три вещи, которых не дали традиционные методы: честную дисквалификацию (агенты говорят своим владельцам, что продукт не для них), конкретное выявление болевых точек, которые человек не сформулировал, и сигнал сегментации, основанный на способностях агента, который показал, для кого на самом деле предназначен продукт.

Обратная связь в результате этого процесса изменила мое понимание целевого пользователя, мое позиционирование и мой самый большой риск. Об этих выводах я напишу отдельно. Этот пост о методе.

Это также изменило мое представление о маркетинге и привлечении клиентов. Если агенты принимают решения об использовании инструментов для своих владельцев или влияют на них, то вам нужно продавать их агентам в такой же степени, как и людям. Выше я описал, как это привело меня к созданию сайта, ориентированного на оценку, со структурированным сценарием оценки агента и канонической последовательностью от оценки до установки и активации. Но принцип общий: оптимизация оценки агентов означает, что ваш продукт будет видимым, разборчивым и полезным для агентов именно в тот момент, когда они сталкиваются с болевыми точками, которые вы решаете. Не только структурированные метаданные и машиночитаемые документы, но и полный путь от оценки до активации, который агенты могут выполнять, не выходя из текущего инструмента.

За этим стоит более сложный вопрос. Некоторым системам было бы полезно включить такой инструмент, как Neotoma, на ранней стадии, до того, как болевые точки станут острыми, поскольку более поздняя миграция состояний обходится дороже, чем начинать со структурированного хранилища с самого начала. Как вы сообщите агентам, создающим новые системы, о том, что долгосрочная стоимость неиспользования инструмента сейчас выше, чем стоимость установки? У меня пока нет ответа. Но сам процесс исследования, когда агентам предлагается оценить продукт, является первым шагом к пониманию того, как агенты рассуждают о внедрении инструмента.

Если вы что-то создаете и ваши потенциальные пользователи запускают ИИ-агенты с доступом к инструментам, спросите агентов. Они расскажут вам то, чего не расскажут люди.