Метод «О-18», редакция 1.0
Паспорт метода: 18 процедур разбора
Восемнадцать линз — не список приёмов на витрине, а раздача работы: у каждого критика свой набор, без повторов, и по каждой процедуре известно, что она обязана принести. Ниже — каждая из них: откуда взята, какую ошибку ищет, кому достаётся, что порождает и где не работает.
Последнее — не самокритика ради приличия. Метод, у которого не названы границы, невозможно проверить: любую находку можно объявить результатом линзы, а любую пропущенную беду — «не тем случаем».
Четыре линзы обязательны в каждом деле — стилман, пре-мортем, ключевые допущения и перепроверка цепочкой. Остальные распределяются между критиками по близости к роли, без дублей: состав из 3 критиков закрывает не все 18, и мы говорим об этом прямо на странице метода.
Стилман
Что ищет. Позиция заказчика сначала формулируется сильнее, чем он сам её изложил: критика слабой версии решения ничего не стоит.
Кому достаётся. каждому критику. Что порождает: разбор словами.
Откуда взято. Правило Рапопорта в изложении Дэниела Деннета («Intuition Pumps», 2013) · первоисточник
Где не работает. Усиленная версия может увести от того, что человек имел в виду: если формулировка изменилась по существу, критика бьёт мимо.
Пре-мортем (Klein)
Что ищет. Коллегия исходит из того, что решение уже провалилось год спустя, и пишет историю этого провала — не список «что может пойти не так».
Кому достаётся. каждому критику. Что порождает: разбор словами.
Откуда взято. Гэри Клайн, «Performing a Project Premortem», Harvard Business Review, 2007 · первоисточник
Где не работает. Выдуманная история провала убедительна независимо от того, вероятна ли она: правдоподобие рассказа не равно вероятности.
Ключевые допущения
Что ищет. Выписываются все несущие допущения, включая невысказанные, и для каждого — что будет, если оно окажется ложным.
Кому достаётся. каждому критику. Что порождает: структурный артефакт (таблица, матрица, схема).
Откуда взято. Практика структурного анализа (key assumptions check), закреплена в аналитических стандартах разведсообщества США — ICD 203 · первоисточник
Где не работает. Невысказанное допущение потому и невысказанное, что его не видно: полноты этого списка не гарантирует никто.
Фальсификация (Popper)
Что ищет. Называется наблюдение, которое опровергло бы позицию, и самый дешёвый способ его получить.
Кому достаётся. одному из критиков. Что порождает: разбор словами.
Откуда взято. Карл Поппер, «Логика научного исследования», 1934 · первоисточник
Где не работает. Для решений о людях и переговорах опровергающего наблюдения часто не существует в принципе — тогда линза даёт только честное «проверить нечем».
Toulmin warrant-атака
Что ищет. Аргумент разбирается на три части: данные, вывод и невысказанное основание, которое их связывает. Бьют по основанию — решение чаще держится на нём, а не на цифрах.
Кому достаётся. одному из критиков. Что порождает: структурный артефакт (таблица, матрица, схема).
Откуда взято. Стивен Тулмин, «The Uses of Argument», Cambridge University Press, 1958 · первоисточник
Где не работает. Разбор работает с текстом аргумента: если решение принято по чутью и аргумент сочинён задним числом, ломается сочинение, а не решение.
Инверсия (Munger)
Что ищет. Вывод переворачивается: что должно быть правдой, чтобы решение оказалось верным. Каждое такое условие проверяется отдельно — обычно одно из них и не выдерживает.
Кому достаётся. одному из критиков. Что порождает: разбор словами.
Откуда взято. Приём Чарли Мангера (в его изложении — от математика Карла Якоби: «invert, always invert»); прямой публикации-первоисточника у нас нет
Где не работает. Список условий составляет тот же разбор, что и проверяет: пропущенное условие не всплывёт само.
Качество информации
Что ищет. Каждый факт меряется по четырём меркам: откуда он, насколько свеж, заинтересован ли источник и можно ли его проверить. Непроверенное так и помечается.
Кому достаётся. одному из критиков. Что порождает: разбор словами.
Откуда взято. Ричардс Хойер, «Psychology of Intelligence Analysis», ЦРУ, 1999 · первоисточник
Где не работает. Мы оцениваем то, что нам показали: подделанный документ выглядит как документ, а умолчание не оставляет следа.
What If? (сюрприз уже случился)
Что ищет. То, что вы считаете невозможным, принимается за уже случившееся, и коллегия объясняет, каким путём это произошло.
Кому достаётся. одному из критиков. Что порождает: разбор словами.
Откуда взято. Техника «What If?» из структурного анализа Хойера и наставлений ODNI · первоисточник
Где не работает. Объяснить можно любое событие — правдоподобный путь не делает его вероятным. Линза даёт готовность, а не прогноз.
Маловероятное с высоким ущербом
Что ищет. Два-четыре события, вероятность которых мала, а ущерб разрушителен: названы прямо, и по каждому сказано, готовы вы к нему или нет.
Кому достаётся. одному из критиков. Что порождает: разбор словами.
Откуда взято. ISO/IEC 31010 «Risk management — risk assessment techniques» · первоисточник
Где не работает. Вероятности редких событий оцениваются плохо всеми, включая нас: числа здесь — порядок величины, а не расчёт.
Оценка добросовестности источника
Что ищет. Если данные пришли от заинтересованной стороны, разбирается, что ей выгодно показать первым, а что — не показывать вовсе.
Кому достаётся. одному из критиков. Что порождает: разбор словами.
Откуда взято. Denial & deception — раздел структурного анализа Хойера · первоисточник
Где не работает. Заинтересованность источника не делает его слова ложью: линза поднимает планку доверия, а не выносит приговор.
Конкурирующие гипотезы (ACH, Heuer)
Что ищет. Альтернативные объяснения проверяются наравне с основным: какая версия переживает больше попыток её опровергнуть.
Кому достаётся. одному из критиков. Что порождает: структурный артефакт (таблица, матрица, схема).
Откуда взято. Ричардс Хойер, анализ конкурирующих гипотез (ACH), ЦРУ, 1999 · первоисточник
Где не работает. Метод сравнивает ТОЛЬКО те гипотезы, которые названы: не пришедшая в голову версия матрицей не ловится.
Четыре взгляда (стейкхолдеры)
Что ищет. По каждому ключевому участнику: его цель, его версия событий и что он сделает в ответ на ваше решение.
Кому достаётся. одному из критиков. Что порождает: разбор словами.
Откуда взято. Инженерная практика разбора интересов сторон; одного первоисточника нет
Где не работает. Мы моделируем чужие мотивы по вашему рассказу о них — это версия одной стороны, а не показания второй.
Карта отказов (FMEA)
Что ищет. Для плана или процесса перебираются режимы отказа: насколько вероятен, насколько тяжёл и заметите ли вы его вовремя. Дальше — чем закрыть самые дорогие.
Кому достаётся. одному из критиков. Что порождает: структурный артефакт (таблица, матрица, схема).
Откуда взято. FMEA — инженерный метод анализа видов и последствий отказов, закреплён в стандартах надёжности (в т.ч. IEC 60812) · первоисточник
Где не работает. Разбирается описанный процесс: то, что происходит в обход регламента, в таблицу не попадает.
Bow-tie (ISO 31010)
Что ищет. Главный риск раскладывается по цепочке «причины → событие → последствия», между ними расставляются барьеры: какие предупреждают, какие смягчают и где между ними дыра.
Кому достаётся. одному из критиков. Что порождает: структурный артефакт (таблица, матрица, схема).
Откуда взято. ISO/IEC 31010, техника «галстук-бабочка» · первоисточник
Где не работает. Барьер на схеме и барьер в жизни — разные вещи: работоспособность барьера мы принимаем с ваших слов.
База и внешний взгляд (Tetlock)
Что ищет. Для оценок и прогнозов берётся базовая частота в похожем классе случаев — и проверяется, почему ваш случай считается исключением.
Кому достаётся. одному из критиков. Что порождает: разбор словами.
Откуда взято. Внешний взгляд и базовая частота — Канеман и Тверски; калибровка прогнозов — работы Филипа Тетлока · первоисточник
Где не работает. Класс сравнения выбирает разбор: слишком узкий класс даёт мало случаев, слишком широкий — чужую статистику.
Скан искажений в позиции
Что ищет. Подтверждающий поиск, якорение, невозвратные затраты, ошибка выжившего, мотивированное рассуждение — каждое с цитатой того места, где это видно.
Кому достаётся. одному из критиков. Что порождает: разбор словами.
Откуда взято. Каталог когнитивных искажений в аналитической практике (Хойер, ICD 203); диагностических инструментов мы не применяем · первоисточник
Где не работает. Это оценка текста, а не человека: признак искажения в формулировке не означает, что решение принято искажённо.
Перепроверка цепочкой (Chain-of-Verification)
Что ищет. Критик задаёт проверочные вопросы к собственным ключевым утверждениям и отвечает на них отдельно. Разошлось — утверждение снимается, а не смягчается.
Кому достаётся. каждому критику. Что порождает: разбор словами.
Откуда взято. Chain-of-Verification — приём из исследований языковых моделей (снижение выдуманных фактов за счёт отдельной проверки своих же утверждений) · первоисточник
Где не работает. Модель проверяет себя: систематическую ошибку, общую для вопроса и ответа, этот проход не ловит — для этого есть сверка вторым вендором.
Код и техника
Что ищет. Для технических решений: крайние входы, гонки, границы, отказ зависимостей — что ломается под нагрузкой и при частичном сбое.
Кому достаётся. одному из критиков. Что порождает: разбор словами.
Откуда взято. Инженерная практика разбора отказов; одного первоисточника нет
Где не работает. Без доступа к самой системе разбор идёт по описанию: то, чего нет в рассказе, коллегия не увидит.
Чего в этом списке нет
Единого балла решения — вроде «74 из 100» — метод не даёт и не даст: это ложная точность, за которой не видно, что именно оспаривается. Вместо него — вердикт, важность каждой находки, условия пересмотра и карта разногласий коллегии.
Где метод слабее, чем хотелось бы нам самим, — отдельная страница. Первоисточники с живыми ссылками — на странице метода.