Апробация: проверка математики на практике

Калибровка описывает механизм сверки прогнозов с фактом. Эта страница — о том, откуда берутся данные для этой сверки и по каким правилам они собираются. Формула без проверки — просто код; проверка на игрушечных примерах — демонстрация. Доказательством математика становится только на реальных спринтах реальных команд.

Честная арифметика выборки

Калибровка — статистика по закрытым спринтам, и у неё есть неудобное свойство: спринты копятся медленно. На десяти спринтах доверительный интервал для «доли попаданий в P85» так широк, что вывод почти ничего не стоит; уверенный разговор начинается с нескольких десятков. Спринт длится одну-две недели — значит, одна команда даёт около 25–35 закрытых спринтов в год, и ждать «когда наберётся», ничего не предпринимая, нельзя.

Поэтому данные собираются из трёх источников параллельно.

Источник 1: собственная разработка (уже идёт)

Такт разрабатывается в самом Такте: задачи, оценки, зависимости и спринты проекта ведутся на боевой инсталляции, и журнал прогнозов фиксирует каждый спринт разработки. Это данные высшего качества — с проставленными зависимостями и оценками, которые внешние команды часто заполняют небрежно, — и одновременно самый честный тест: инструмент прогнозирует сроки собственной разработки, и эти прогнозы нельзя подправить задним числом.

Источник 2: пилотные команды (в планах)

Внешние команды проверяют переносимость: математика должна калиброваться не только на своём авторе. Чтобы данные пилота были пригодны для анализа, действует протокол:

задачи получают оценки (story points или O/M/P), а зависимости проставляются там, где они реально есть;
спринт стартует и закрывается кнопками старта/закрытия — именно они создают якорные снапшоты прогноза;
задачи не удаляются, а архивируются: удаление стирает историю событий и задним числом искажает вход всех расчётов;
осмысленный минимум — от 5 задач в спринте и от 6–8 спринтов на команду;
данные снимаются со страницы «Журнал прогнозов» доски: экспорт журнала снапшотов и калибровки в CSV/JSON, без доступа к базе.

Источник 3: ретроспективная проверка на исторических данных (в планах)

Архитектура Такта даёт возможность, недоступная живому сбору: вся математика читает единственный вход — журнал событий задач. Значит, историю стороннего проекта (например, открытые датасеты issue-трекеров крупных open-source проектов) можно импортировать в этот журнал и запустить прогнозирование «задним числом»: встать в прошлую дату, построить прогноз по данным, известным на тот момент, и сверить с уже известным фактом. Такой backtesting — стандартный метод валидации прогнозных моделей: он даёт сотни пар «прогноз — факт» за недели и страхует живой сбор от малой выборки.

Гипотезы фиксируются до данных

Главное правило доказательности: критерии успеха формулируются до сбора данных, а не подгоняются под результат.

H1 — калибровка. Доля спринтов, уложившихся в свой P85, статистически совместима с 85% (аналогично для P50 и 50%).
H2 — ценность учёта зависимостей. Сетевой Monte Carlo (по графу зависимостей) даёт меньшую ошибку и лучшую калибровку, чем наивный (по пропускной способности). Оба метода уже считаются рядом — сравнение встроено в продукт.

Метрики: доля попаданий в P50/P85, средняя абсолютная ошибка прогноза P50 в днях, поведение сходимости прогноза по дневным снапшотам. Факт спринта считается честно: по дню закрытия последней задачи состава, а перенос хотя бы одной задачи засчитывается как промах (что считается фактом). Проценты попаданий показываются только от пяти засчитанных спринтов.

У журнала прогнозов здесь есть принципиальное свойство: снапшот записывается в момент, когда прогноз сделан, и не редактируется. По сути это техническая реализация предварительной регистрации (pre-registration) — «мы так и думали» задним числом сказать невозможно.

Что считается результатом

Результатом апробации считается честный ответ, а не обязательно приятный. Если калибровка покажет, что прогнозы систематически оптимистичны, — это тоже результат: он измерим, у него есть диагноз и путь исправления. Проверяемость — и есть то, что отличает доказательную математику планирования от красивого графика.

Как есть: журнал прогнозов, дневные снапшоты, честная калибровка и экспорт работают; данные собственной разработки копятся. Дальше: пилотные команды по протоколу выше, затем сравнение трёх методов прогноза на накопленном экспорте и ретроспективный backtesting на исторических данных.