Как устроена проверка
Метод нужен под капотом. Пользователю — понятный результат.
Чтобы пользоваться Оппонентурой, названия восемнадцати процедур знать не нужно. Эта страница — для тех, кто хочет проверить, как именно сервис заставляет разные роли искать разные типы ошибок и что происходит с документом перед выдачей.
Посмотреть все 18 процедур Сначала посмотреть реальный протокол
Нужна сначала общая картина?
Не «семь мнений», а разные обязанности проверки
Усилить решение
Сначала формулируется сильнейшая версия вашей позиции — критиковать ослабленную версию бессмысленно.
Найти, на чём оно держится
Допущения, факты, причинные связи.
Проверить альтернативы
Другие объяснения тех же данных, другие варианты хода, позиция второй стороны.
Смоделировать провал
Худший сценарий, редкие тяжёлые события, барьеры на пути.
Проверить доказательства
Что известно, что принято на веру, что подтверждается источником.
Превратить вывод в действие
Первая проверка, условия пересмотра, поручения с датами.
18 процедур — разные способы ошибиться
«О-18» не является одной научно доказанной суперметодикой, и мы её так не подаём. Это каталог аналитических процедур из анализа решений, разведывательного анализа, управления рисками и логики аргументации.
4 процедуры обязательны и есть у всех участников. Остальные 14 расходятся по одной — каждая тому, чьей роли она ближе, и второй раз никому не выдаётся. Поэтому критики смотрят на решение разными инструментами, а не пересказывают друг друга. Процедура считается применённой, только если у неё есть результат или названа причина, по которой она к делу не подошла.
Что это за процедуры
Ниже — все 18. Не публикуем другое: правила распределения линз по ролям, формулировки заданий критикам и порядок синтеза — это и есть разница между заседанием и запросом в чат.
| Процедура | Что делает | Кому достаётся |
|---|---|---|
| Стилман | Позиция заказчика сначала формулируется сильнее, чем он сам её изложил: критика слабой версии решения ничего не стоит. | каждому критику |
| Пре-мортем (Klein) | Коллегия исходит из того, что решение уже провалилось год спустя, и пишет историю этого провала — не список «что может пойти не так». | каждому критику |
| Ключевые допущения | Выписываются все несущие допущения, включая невысказанные, и для каждого — что будет, если оно окажется ложным. | каждому критику |
| Фальсификация (Popper) | Называется наблюдение, которое опровергло бы позицию, и самый дешёвый способ его получить. | одному из критиков |
| Toulmin warrant-атака | Аргумент разбирается на три части: данные, вывод и невысказанное основание, которое их связывает. Бьют по основанию — решение чаще держится на нём, а не на цифрах. | одному из критиков |
| Инверсия (Munger) | Вывод переворачивается: что должно быть правдой, чтобы решение оказалось верным. Каждое такое условие проверяется отдельно — обычно одно из них и не выдерживает. | одному из критиков |
| Качество информации | Каждый факт меряется по четырём меркам: откуда он, насколько свеж, заинтересован ли источник и можно ли его проверить. Непроверенное так и помечается. | одному из критиков |
| What If? (сюрприз уже случился) | То, что вы считаете невозможным, принимается за уже случившееся, и коллегия объясняет, каким путём это произошло. | одному из критиков |
| Маловероятное с высоким ущербом | Два-четыре события, вероятность которых мала, а ущерб разрушителен: названы прямо, и по каждому сказано, готовы вы к нему или нет. | одному из критиков |
| Оценка добросовестности источника | Если данные пришли от заинтересованной стороны, разбирается, что ей выгодно показать первым, а что — не показывать вовсе. | одному из критиков |
| Конкурирующие гипотезы (ACH, Heuer) | Альтернативные объяснения проверяются наравне с основным: какая версия переживает больше попыток её опровергнуть. | одному из критиков |
| Четыре взгляда (стейкхолдеры) | По каждому ключевому участнику: его цель, его версия событий и что он сделает в ответ на ваше решение. | одному из критиков |
| Карта отказов (FMEA) | Для плана или процесса перебираются режимы отказа: насколько вероятен, насколько тяжёл и заметите ли вы его вовремя. Дальше — чем закрыть самые дорогие. | одному из критиков |
| Bow-tie (ISO 31010) | Главный риск раскладывается по цепочке «причины → событие → последствия», между ними расставляются барьеры: какие предупреждают, какие смягчают и где между ними дыра. | одному из критиков |
| База и внешний взгляд (Tetlock) | Для оценок и прогнозов берётся базовая частота в похожем классе случаев — и проверяется, почему ваш случай считается исключением. | одному из критиков |
| Скан искажений в позиции | Подтверждающий поиск, якорение, невозвратные затраты, ошибка выжившего, мотивированное рассуждение — каждое с цитатой того места, где это видно. | одному из критиков |
| Перепроверка цепочкой (Chain-of-Verification) | Критик задаёт проверочные вопросы к собственным ключевым утверждениям и отвечает на них отдельно. Разошлось — утверждение снимается, а не смягчается. | каждому критику |
| Код и техника | Для технических решений: крайние входы, гонки, границы, отказ зависимостей — что ломается под нагрузкой и при частичном сбое. | одному из критиков |
Процедура — это работа одного критика: чем меньше критиков, тем меньше процедур физически помещается в заседание. Состав из 3 закрывает 16 из 18, состав из 7 — все 18. Что не досталось никому, видно в нашем реестре покрытия; в протоколе сказано, какие процедуры применялись и с каким результатом.
Как читать названия
Человеческое имя первым, термин — в скобках. Расшифровывать аббревиатуру, чтобы понять функцию, вам не нужно.
- Сильнейшая версия решения (steelman)
- Сценарий провала (pre-mortem)
- Проверка ключевых допущений
- Проверка альтернативных объяснений (ACH)
- Причины → событие → последствия (bow-tie)
- Перепроверка ключевых утверждений (chain-of-verification)
Почему критики сначала работают отдельно
Если все видят первый ответ, первый ответ становится рамкой обсуждения. Поэтому там, где процедура это предусматривает, позиции формируются раздельно и только затем сравниваются.
Разные поставщики моделей уменьшают зависимость от одной системы, но не превращают ИИ-роли в независимых человеческих экспертов. Это разные вещи, и мы их не смешиваем.
Несогласие не усредняется
После отдельных проходов разбираются реальные точки столкновения: где позиции совпали, где разошлись, какой факт способен разрешить спор и кто изменил позицию под каким аргументом. Цель — не красивый консенсус, а понимание, что именно выдержало возражение.
Даже анализ проходит собственную проверку
Факты
Внешние утверждения перепроверяются и получают статус: подтверждено, исправлено или не подтверждено.
Соразмерность
Отдельный проход смотрит, не превратила ли критическая машина обычный предпринимательский риск в причину для паники.
Связность
Перед печатью документ вычитывается на противоречия и ошибки.
Не подтвердили факт — так и пишем. Не всякий риск — причина остановить решение.
Откуда взялась находка
В полном протоколе происхождение аргумента помечается: слова заказчика, документ, открытый источник, расчёт, допущение или вывод коллегии. Метка показывает тип основания, а не гарантирует истинность вывода.
Как это выглядит в протоколе
Сразу за вердиктом идёт раздел «Главное» — пять результатов, которые заседание обязано дать независимо от тарифа: какой риск вы принимаете, что держит решение, три самых опасных допущения вашего решения (и чем каждое подтверждено), самая дешёвая проверка до необратимого шага и условие, при котором решение перестаёт быть верным. Если чего-то из пяти в документе нет, это дефект: сервис узнаёт о нём сам, проверяя выданный текст, а не намерение промпта.
Там, где куплены прения, сразу за их стенограммой идёт «Карта разногласий»: в чём коллегия согласна, где расходится, какой факт разрешит спор и кто изменил позицию под аргументом. Это сводка на несколько строк, и она объясняет, зачем спор вообще был.
Дальше в каждом протоколе есть состав коллегии с обоснованием, кто и зачем приглашён, и покрытие линз: какие процедуры применялись и с каким результатом. Перед печатью документ проходит две проверки — сверку фактов движком другого вендора и редакторскую вычитку. Веб-факт попадает в протокол только со ссылкой на первоисточник; лучше «не подтверждено», чем красивая выдумка.
Если заказчик пришёл с ситуацией, а решения у него ещё не было, в протоколе появляется раздел «ДОКЛАД»: все вынесенные проекты решения — с отметкой принятого и с теми, что заказчик отверг. Отвергнутые остаются в документе намеренно: через полгода на вопрос «а почему не пошли вторым путём» отвечает протокол, а не память.
Где этот метод слабее, чем хотелось бы нам самим, — на отдельной странице: где Оппонентура ошибается.
Когнитивный анализ
На тарифах, где это предусмотрено, отдельный проход ищет признаки якорения, подтверждающего поиска, невозвратных затрат и других эффектов — в том, как сформулировано решение. Формулировки честные: «в тексте видны признаки», а не «мы измерили ваши искажения». Стандартизованных заданий, которыми это измеряют по-настоящему, у нас нет.
Чего метод не может
- не знает будущего;
- зависит от того, что вы рассказали и приложили;
- модели могут разделять одни и те же заблуждения;
- поиск по открытым источникам неполон;
- профессиональный вывод требует профессионала;
- сложная процедура не делает ошибку невозможной.
Откуда это выросло
Процедуры не выдуманы нами. Ниже — работы, из которых они взяты; ссылка стоит там, где адрес первоисточника проверен.
- Гэри Клайн, Performing a Project Premortem, Harvard Business Review, 2007 — первоисточник. Пре-мортем: команда представляет, что решение уже провалилось, и пишет историю провала.
- Ричардс Хойер, Psychology of Intelligence Analysis, ЦРУ, 1999 — первоисточник. Анализ конкурирующих гипотез: проверяется не любимая версия, а все сразу.
- ODNI, ICD 203 «Analytic Standards», стандарт аналитики разведсообщества США — первоисточник. Калиброванный язык вероятности: «скорее всего» имеет числовое значение, а не настроение.
- Стивен Тулмин, The Uses of Argument, Cambridge University Press, 1958 — первоисточник. Разбор аргумента на посылки, основания и оговорки — видно, где он держится на пустом.
- Карл Поппер, Логика научного исследования, 1934 — первоисточник. Фальсифицируемость: гипотеза чего-то стоит, если названо, что её опровергнет.
- ISO/IEC, 31010 «Risk management — risk assessment techniques», 2019 — первоисточник. Карта рисков и «галстук-бабочка» по главному риску.