Метод
Метод «О-18»
«О-18» — это 18 процедур разбора решения, разложенных по разным членам коллегии. Раздаются они поимённо: 4 обязательные получает КАЖДЫЙ критик, остальные 14 расходятся по одной — каждая достаётся тому, чьей роли она ближе, и второй раз никому не выдаётся. Поэтому критики смотрят на решение разными инструментами, а не пересказывают друг друга. Линза считается применённой, только если у неё есть результат или названа причина, по которой она к делу не подошла.
Что это за процедуры
Ниже — все 18. Не публикуем другое: правила распределения линз по ролям, формулировки заданий критикам и порядок синтеза — это и есть разница между заседанием и запросом в чат.
| Процедура | Что делает | Кому достаётся |
|---|---|---|
| Стилман | Позиция заказчика сначала формулируется сильнее, чем он сам её изложил: критика слабой версии решения ничего не стоит. | каждому критику |
| Пре-мортем (Klein) | Коллегия исходит из того, что решение уже провалилось год спустя, и пишет историю этого провала — не список «что может пойти не так». | каждому критику |
| Ключевые допущения | Выписываются все несущие допущения, включая невысказанные, и для каждого — что будет, если оно окажется ложным. | каждому критику |
| Фальсификация (Popper) | Называется наблюдение, которое опровергло бы позицию, и самый дешёвый способ его получить. | одному из критиков |
| Toulmin warrant-атака | Аргумент разбирается на три части: данные, вывод и невысказанное основание, которое их связывает. Бьют по основанию — решение чаще держится на нём, а не на цифрах. | одному из критиков |
| Инверсия (Munger) | Вывод переворачивается: что должно быть правдой, чтобы решение оказалось верным. Каждое такое условие проверяется отдельно — обычно одно из них и не выдерживает. | одному из критиков |
| Качество информации | Каждый факт меряется по четырём меркам: откуда он, насколько свеж, заинтересован ли источник и можно ли его проверить. Непроверенное так и помечается. | одному из критиков |
| What If? (сюрприз уже случился) | То, что вы считаете невозможным, принимается за уже случившееся, и коллегия объясняет, каким путём это произошло. | одному из критиков |
| Маловероятное с высоким ущербом | Два-четыре события, вероятность которых мала, а ущерб разрушителен: названы прямо, и по каждому сказано, готовы вы к нему или нет. | одному из критиков |
| Оценка добросовестности источника | Если данные пришли от заинтересованной стороны, разбирается, что ей выгодно показать первым, а что — не показывать вовсе. | одному из критиков |
| Конкурирующие гипотезы (ACH, Heuer) | Альтернативные объяснения проверяются наравне с основным: какая версия переживает больше попыток её опровергнуть. | одному из критиков |
| Четыре взгляда (стейкхолдеры) | По каждому ключевому участнику: его цель, его версия событий и что он сделает в ответ на ваше решение. | одному из критиков |
| Карта отказов (FMEA) | Для плана или процесса перебираются режимы отказа: насколько вероятен, насколько тяжёл и заметите ли вы его вовремя. Дальше — чем закрыть самые дорогие. | одному из критиков |
| Bow-tie (ISO 31010) | Главный риск раскладывается по цепочке «причины → событие → последствия», между ними расставляются барьеры: какие предупреждают, какие смягчают и где между ними дыра. | одному из критиков |
| База и внешний взгляд (Tetlock) | Для оценок и прогнозов берётся базовая частота в похожем классе случаев — и проверяется, почему ваш случай считается исключением. | одному из критиков |
| Скан искажений в позиции | Подтверждающий поиск, якорение, невозвратные затраты, ошибка выжившего, мотивированное рассуждение — каждое с цитатой того места, где это видно. | одному из критиков |
| Перепроверка цепочкой (Chain-of-Verification) | Критик задаёт проверочные вопросы к собственным ключевым утверждениям и отвечает на них отдельно. Разошлось — утверждение снимается, а не смягчается. | каждому критику |
| Код и техника | Для технических решений: крайние входы, гонки, границы, отказ зависимостей — что ломается под нагрузкой и при частичном сбое. | одному из критиков |
Отсюда же — честная разница между тарифами, и мы предпочитаем назвать её числом. Одна процедура — это работа одного критика: чем меньше критиков, тем меньше процедур физически помещается в заседание. Состав из 3 закрывает 16 из 18, состав из 7 — все 18. Что не досталось никому, мы видим у себя в реестре покрытия и знаем поимённо; в протоколе стоит, какие процедуры применялись и с каким результатом.
Откуда это выросло
Метод не выдуман: он собран из практик, которым десятки лет и которые применяются там, где ошибка стоит дорого — в разведке, в управлении рисками, в философии науки.
- Гэри Клайн, Performing a Project Premortem, Harvard Business Review, 2007 — первоисточник. Пре-мортем: команда представляет, что решение уже провалилось, и пишет историю провала.
- Ричардс Хойер, Psychology of Intelligence Analysis, ЦРУ, 1999 — первоисточник. Анализ конкурирующих гипотез: проверяется не любимая версия, а все сразу.
- ODNI, ICD 203 «Analytic Standards», стандарт аналитики разведсообщества США — первоисточник. Калиброванный язык вероятности: «скорее всего» имеет числовое значение, а не настроение.
- Стивен Тулмин, The Uses of Argument, Cambridge University Press, 1958 — первоисточник. Разбор аргумента на посылки, основания и оговорки — видно, где он держится на пустом.
- Карл Поппер, Логика научного исследования, 1934 — первоисточник. Фальсифицируемость: гипотеза чего-то стоит, если названо, что её опровергнет.
- ISO/IEC, 31010 «Risk management — risk assessment techniques», 2019 — первоисточник. Карта рисков и «галстук-бабочка» по главному риску.
Постоянный член коллегии — когнитивный аналитик
Он единственный, кто смотрит не на решение, а на то, как вы к нему пришли: с чего началось рассуждение, что вы сочли очевидным, где решение было принято до аргументов, и кто мог подвести вас к этой рамке — срочностью, дефицитом, авторитетом. Он участвует в заседании с тарифа «Большая коллегия» и выше и голосует наравне со всеми.
Формулировки честные: мы пишем «в ваших словах видны признаки такого-то искажения — вот цитата», а не «мы измерили ваш уровень искажений». Измерять человека можно только стандартизованными заданиями, которых мы посреди заседания не даём, — и мы не делаем вид, что даём.
Как это выглядит в протоколе
Сразу за вердиктом идёт раздел «Главное» — три результата, которые заседание обязано дать независимо от тарифа: три самых опасных допущения вашего решения (и чем каждое подтверждено), самая дешёвая проверка до необратимого шага и условие, при котором решение перестаёт быть верным. Если чего-то из трёх в документе нет, это дефект: сервис узнаёт о нём сам, проверяя выданный текст, а не намерение промпта.
Там, где куплены прения, сразу за их стенограммой идёт «Карта разногласий»: в чём коллегия согласна, где расходится, какой факт разрешит спор и кто изменил позицию под аргументом. Это сводка на несколько строк, и она объясняет, зачем спор вообще был.
Дальше в каждом протоколе есть состав коллегии с обоснованием, кто и зачем приглашён, и покрытие линз: какие процедуры применялись и с каким результатом. Перед печатью документ проходит две проверки — сверку фактов движком другого вендора и редакторскую вычитку. Веб-факт попадает в протокол только со ссылкой на первоисточник; лучше «не подтверждено», чем красивая выдумка.
Если заказчик пришёл с ситуацией, а решения у него ещё не было, в протоколе появляется раздел «ДОКЛАД»: все вынесенные проекты решения — с отметкой принятого и с теми, что заказчик отверг. Отвергнутые остаются в документе намеренно: через полгода на вопрос «а почему не пошли вторым путём» отвечает протокол, а не память.
Где этот метод слабее, чем хотелось бы нам самим, — на отдельной странице: где Оппонентура ошибается.