Brier score: что это такое простыми словами
Что такое Brier score и зачем он нужен
Brier score — это метрика, измеряющая точность вероятностных прогнозов. Для бинарных исходов (да/нет, победа/поражение) её значение всегда лежит в диапазоне от 0 до 1. Ноль означает идеальный прогноз, где вы дали 100% событию, которое случилось, а 1 — фатальную ошибку, когда вы были уверены на 100% в том, что не произошло. Чем ближе к нулю, тем лучше. Интуиция метрики проста: она наказывает за излишнюю самоуверенность. Если вы предсказали 90% на победу аутсайдера, а он проиграл, штраф будет огромным. Если же оценили шансы в 55% и ошиблись — наказание будет мягким. Система поощряет калибровку: прогноз на 70% должен сбываться примерно в 7 случаях из 10. Где это пригождается на практике:- спорт: оценка качества прогнозов аналитиков и моделей на исходы матчей;
- метеорология: проверка точности вероятности дождя или заморозков;
- медицина: оценка предсказаний риска заболевания у пациента;
- машинное обучение: стандартный способ проверить качество моделей классификации.
| Сценарий | Прогноз | Исход | Brier score |
|---|---|---|---|
| Уверенная ошибка | 90% | Не случилось (0) | (0.9-0)^2 = 0.81 |
| Умеренная ошибка | 60% | Не случилось (0) | (0.6-0)^2 = 0.36 |
| Точный прогноз | 80% | Случилось (1) | (0.8-1)^2 = 0.04 |
Формула Brier score и расчёт на примере
Базовая формула метрики предельно проста: BS = (1/N) * Σ(p_i - o_i)^2. Здесь N — число прогнозов, p_i — ваша вероятность (от 0 до 1), o_i — реальный исход (1 или 0). Мы усредняем квадраты ошибок: чем ближе p к o, тем ниже счёт, а значит, лучше калибровка. Разберём на пальцах. Допустим, вы дали 0.68 на победу футбольной команды, и она выиграла (o=1). Ошибка: 0.68 − 1 = −0.32. Квадрат: 0.1024. Если бы проиграла (o=0), было бы (0.68−0)^2 = 0.4624. Одна ставка — частный случай; Brier считают серией.| Матч | p | o | (p−o)^2 |
|---|---|---|---|
| 1 | 0.68 | 1 | 0.1024 |
| 2 | 0.55 | 0 | 0.3025 |
| 3 | 0.40 | 0 | 0.1600 |
| 4 | 0.72 | 1 | 0.0784 |
| Прогнозист | BS | Комментарий |
|---|---|---|
| А | 0.138 | Лучшие калибровка и дискримин. |
| Б | 0.162 | Середина, переоценивает фаворитов. |
| В | 0.217 | Слабая точность вероятностей. |
Brier score vs Log Loss и другие метрики
Brier и Log Loss — двоюродные метрики: обе любят уверенность, но наказывают по-разному. Brier — это среднеквадратичная ошибка: штраф квадратичный, но «земной». Log Loss — перекрёстная энтропия: за крайние промахи бьёт экспоненциально. Когда выбирать Brier:- Нужна читаемость в процентах: 0,05 — это «ошибка на 5 процентных пунктов в среднем».
- Хотите «среднеквадратичную» логику: метрика чувствительна к дисперсии ошибок, удобна для сравнения моделей.
- Сравниваете калибровку «на глаз» по декомпозиции: надёжность + разрешающая + неопределённость.
- Несимметричность полезности: в ставках цена недооценки и переоценки вероятности редко равна — Brier этого не видит.
- Калибровка напрямую не гарантируется: можно «попадать в среднем», но систематически ошибаться на фаворитах.
- Игнорирует базовую ставку: без нормализации к «no-skill» (0,25 для двух исходов) число мало говорит.
| Критерий | Brier | Log Loss |
|---|---|---|
| Штраф | Квадратичный | Логарифмический (жёстче на экстремумах) |
| Интерпретация | Проценты, MSE | Информационные «наты» |
| Риск | Сглаживает выбросы | Взрывной штраф за 0,99 против 0 |
Калибровка, надёжность и Brier decomposition
Brier score раскладывают на три части: надёжность, разрешающую способность и неопределённость. Надёжность — это калибровка: насколько ваши вероятности совпадают с реальностью. Если события при прогнозе 70% происходят в 60% случаев — модель «оптимистична». Разрешающая способность — умение разделять исходы: давать 90% явным фаворитам и 10% аутсайдерам. Неопределённость — свойство данных: у равных матчей она выше, чем у предсказуемых. Для калибровки строят диаграмму надёжности: прогнозы группируют в корзины по 10% (0–10%, 10–20% и т. д.), для каждой считают фактическую частоту. Идеальная кривая — диагональ y=x. Выпуклость вниз — переоценка вероятностей; вверх — недооценка. На глаз видно, где именно «врёт» модель: на явных фаворитах или на равных шансах. Как улучшать на практике:- Калибровочные кривые: корректируйте сырые вероятности по отклонениям корзин (платинг).
- Групповые смещения: вводите признаки турнира, погоды, усталости; часто модель систематически ошибается в конкретном сегменте.
- Платинг: простой пример — если в корзине 60% факт 52%, умножайте такие прогнозы на коэффициент около 0,87 (52/60) и перенормируйте.
| Корзина | Прогноз | Факт | Коррекция |
|---|---|---|---|
| 60–70% | 65% | 52% | ×0,80–0,87 |
| 40–50% | 45% | 48% | ×1,05–1,07 |
Выводы
Brier score — это простой и прозрачный способ проверить, насколько ваши вероятностные прогнозы близки к реальности: чем ближе к нулю, тем точнее. Смотрите на число не в вакууме: сопоставляйте с базовой частотой (climatology) и калибровкой. Если Brier=0,18 при базовой частоте 0,10 — это лучше «монетки», но проверьте надёжность: нет ли системного завышения 70% как 60% на деле. В спорте используйте скользящее окно (например, последние 200–500 событий) и out-of-sample: обучаете на прошлых матчах, проверяете на следующих неделях. Так вы избегаете переобучения под метрику, когда модель «красиво» минимизирует Brier на истории, но сыплется на новых лигах, погоде и составах.Мини-чек-лист
- Сравнивайте Brier с climatology на том же окне.
- Разделяйте на надёжность–резолюшн–неопределённость.
- Тестируйте out-of-sample и по сезонам/лигам.
- Фиксируйте окно, не «подгоняйте» длину ради красивого числа.
Частые вопросы
Brier score как считать для ставок и прогнозов на спорт?
Brier score — это среднеквадратичная ошибка вероятностных прогнозов, вычисляемая по формуле (f − o)², где f — ваша прогнозируемая вероятность, а o — фактический исход (1 для победы, 0 для поражения). Для матча суммируйте значения по всем взаимоисключающим исходам (П1, Х, П2), чтобы сумма f всегда равнялась 1, а o — только для одного исхода была 1. Итоговый Brier score события — это сумма этих квадратов, а для серии прогнозов — среднее арифметическое всех событий.
Какой Brier score считается хорошим в футболе или хоккее?
Чем ниже Brier score, тем лучше, так как 0 — идеальный прогноз, а 1 — наихудший; для трёхисходного футбола случайное угадывание (33.3% на всё) даст около 0.667. Хорошим показателем в футболе или хоккее обычно считают диапазон 0.200–0.280 на равновероятных рынках, но эталон зависит от маржи и сложности лиги. Сравнивайте свой результат с «базовым» прогнозом, например, с усреднёнными коэффициентами без маржи, чтобы понять реальную ценность модели.
Brier score или Log Loss — что лучше для оценки вероятностей?
Brier score более устойчив к выбросам и интуитивно понятен, так как измеряется в тех же «квадратных вероятностях», что удобно для сравнения с точностью. Log Loss сильнее штрафует за чрезмерно уверенные ошибки (прогноз 0.99 при фактическом 0), что делает его более строгим для оптимизации моделей. Если вам важна интерпретируемость и стабильность — выбирайте Brier score; если нужен жёсткий контроль калибровки и вы готовы к высокой чувствительности — Log Loss.
Как разложить Brier score на надёжность и разрешающую способность?
Используйте разложение Brier score на три компонента: Brier Score = Reliability − Resolution + Uncertainty. Надёжность (Reliability) показывает, насколько ваши вероятности откалиброваны (например, из 100 прогнозов на 70% реально выиграло около 70), и её нужно минимизировать. Разрешающая способность (Resolution) измеряет, насколько ваши прогнозы отклоняются от среднего по базе, и её следует максимизировать; Uncertainty — это дисперсия исходов в данных, на которую вы не влияете.
Как улучшить Brier score модели прогнозов?
Начните с калибровки: если на 60% вероятности реально выигрывает 52%, примените масштабирование (например, Platt scaling или изотоническую регрессию) к выходам модели. Улучшайте разрешающую способность, добавляя значимые признаки (xG, расписание, травмы) и уменьшая смещение, чтобы модель смелее разделяла сильные и слабые команды. Наконец, фильтруйте ставки по ожидаемой ценности (EV) и избегайте рынков с высокой маржой, так как «налоги» букмекера ухудшают любой Brier score на дистанции.