Brier score простыми словами
Суть вопроса
Brier score — это метрика, которая показывает, насколько точны ваши вероятностные прогнозы. Она измеряет не просто «угадал или нет», а штрафует за излишнюю уверенность в ошибке. Чем ниже итоговое число, тем лучше: ноль — идеальный прогноз, единица — худший из возможных. По сути, это средний квадрат ошибки между вашей заявленной вероятностью и реальным исходом, который всегда равен либо 0 (событие не случилось), либо 1 (событие случилось).
Разберём на пальцах. Допустим, вы дали три прогноза на победу футбольных команд: 0.8, 0.6 и 0.3. В реальности выиграли первые две игры, а третья закончилась вничью (то есть ваша команда проиграла). Реальные исходы: 1, 1 и 0. Считаем штраф для каждого: (0.8–1)² = 0.04; (0.6–1)² = 0.16; (0.3–0)² = 0.09. Складываем и делим на три: (0.04 + 0.16 + 0.09) / 3 ≈ 0.097. Это и есть ваш Brier score для этой выборки. Условный пример показывает: даже при счёте 3:0 по «угаданным исходам» (если смотреть просто на фаворитов), качество оценки вероятностей может быть средним.
Как читать результат
Универсального «хорошего» числа нет, всё зависит от вида спорта и маржи. Однако есть ориентиры. Значение ниже 0.150 обычно говорит о сильной калибровке для матчей с явными фаворитами. Диапазон 0.200–0.250 — норма для равновероятных событий вроде тоталов или броска монеты. Если ваш счёт стабильно выше 0.250, вы, скорее всего, переоцениваете уверенность или систематически ошибаетесь в оценке сил.Как это работает
Считай Brier score как средний квадрат твоего «промаха». Ты даёшь прогноз в процентах, а реальность — это 0% (не случилось) или 100% (случилось). Разница между ними — ошибка. Её возводят в квадрат, чтобы крупные промахи били сильнее, и усредняют по всем матчам. Чем меньше итог — тем лучше.
Для двух исходов (да/нет) формула ещё проще: (прогноз − исход)², где исход — 1 или 0. Сказал 65% на ТБ 2.5, а голов было 3 (исход=1): (0,65−1)²=0,1225. Если бы голов было 1 (исход=0): (0,65−0)²=0,4225. Видишь, как сильно штрафует излишняя уверенность при промахе.
Как считать серию
Сложи значения по матчам и подели на их число. За 3 игры ты получил 0,047, 0,090 и 0,020. Твой Brier score: (0,047+0,090+0,020)/3 ≈ 0,052. Для футбола часто считают по 3 исходам (П1, Х, П2), для хоккея/баскетбола — по 2 (победа одной из команд, без ничьей в основное время).Пошаговый разбор
Возьмём три матча РПЛ и ваши вероятности исходов. Допустим, вы оценили победу хозяев в 60% (0,60), ничью в 25% (0,25), победу гостей в 15% (0,15). Событие закончилось: хозяева выиграли. Считаем штраф за этот прогноз по формуле (p−o)², где o=1 для факта, o=0 для остального. Получаем: (0,60−1)²=0,16; (0,25−0)²=0,0625; (0,15−0)²=0,0225. Сумма по матчу: 0,245.
Сравним два подхода на одном и том же матче, где выиграли хозяева. «Уверенный» дал 0,80 на П1, 0,15 на Х, 0,05 на П2: штраф = (0,80−1)²+0,0225+0,0025=0,045. «Осторожный» дал 0,55/0,30/0,15: штраф = (0,55−1)²+0,09+0,0225=0,295. Чем ближе к 0 или 1 без лишнего апломба — тем меньше штраф. Уверенность ради уверенности наказывается.
| Подход | P1 | X | П2 | Штраф |
|---|---|---|---|---|
| Уверенный | 0,80 | 0,15 | 0,05 | 0,045 |
| Осторожный | 0,55 | 0,30 | 0,15 | 0,295 |
Соберите 20–30 матчей, посчитайте штрафы и усредните. Brier около 0,10–0,12 — топ-уровень для трёх исходов; 0,20–0,25 — рабочий любительский; выше 0,30 — пора пересматривать оценку вероятностей. Отдельно ведите «калибровочную» таблицу: как часто проходят события, на которые вы ставите 60%, 70%, 80%. Если на ваших «70%» реально выпадает лишь 55% — вы систематически переоцениваете.
Пример с цифрами
Возьмём условный пример: три матча РПЛ, где вы оценили шансы победы хозяев. Допустим, вы ставите на вероятность 60% (0,60), 30% (0,30) и 70% (0,70). Реальность такова: в первом матче хозяева выиграли (событие произошло, факт=1), во втором — ничья (не произошло, факт=0), в третьем — победа (факт=1). Считаем Brier score по формуле: среднее квадратов ошибок.| Матч | Ваша p | Факт | Ошибка (p−факт) | Квадрат ошибки |
|---|---|---|---|---|
| 1 | 0,60 | 1 | −0,40 | 0,16 |
| 2 | 0,30 | 0 | 0,30 | 0,09 |
| 3 | 0,70 | 1 | −0,30 | 0,09 |
Типичные ошибки
Самая частая ошибка — путать Brier score с точностью. Можно угадывать 60% исходов и иметь лучший балл, чем у того, кто попадает 70%. Секрет в калибровке: если вы говорите «верю на 80%», то в долгую из десяти таких случаев должно заходить около восьми. Если заходит пять — ваш балл страдает, даже если «пять из десяти» звучит неплохо. Brier штрафует за самоуверенную неправоту сильнее, чем за осторожную. Вторая ошибка — игнорировать базовую частоту. На рынке, где фаворит выигрывает в 85% случаев, постоянная оценка 0,85 даст отличный Brier, но нулевую пользу. Балл любит тех, кто повышает уверенность именно тогда, когда отклонение от «средней по больнице» оправдано. Если вы всегда ставите 0,50 на равные шансы, балл будет 0,25 — математический «пол», хуже только у совсем безрассудных. Третья — усреднять без весов. В экспрессе событий вклад матча финала и ранней квалификации несопоставим. Считайте Brier по каждому матчу отдельно и только потом смотрите среднее, либо сразу используйте взвешивание по важности (например, по турнирным очкам). Иначе один «красивый» камбэк перекрутит всю картину.| Ошибка | Что происходит | Как проверить |
|---|---|---|
| Самоуверенность | Много 0,80–0,90 и промахи | Сравните среднюю заявленную вероятность с реальной долей заходов по группам |
| Игнор базы | Всегда 0,50 или 0,70 | Посчитайте Brier для «климата» (средней частоты) и сравните со своим |
| Нет весов | Важные игры тонут в шуме | Пересчитайте с весами по значимости/рынку |
Риски и ограничения
Brier score — отличный инструмент, но не панацея. Он измеряет точность вероятностей, а не финансовый результат. Можно иметь отличный балл и при этом сливать банк из-за низких коэффициентов или плохой проходимости. Оценка по Брайеру отвечает на вопрос «насколько я честен с вероятностями», а не «сколько я заработал». Это фундамент, но не вся стена.Вторая проблема — чувствительность к редким событиям. Если вы оцениваете вероятность 2% для события, которое всё же случилось, штраф будет огромным. Один такой «чёрный лебедь» способен испортить статистику за месяц. Это не ошибка формулы, а её свойство: она строго наказывает за самоуверенность в хвостах распределения. В спорте хвосты толще, чем в учебниках.
Третье — объём выборки. На 50–100 прогнозах Brier score шумит. Случайная серия из 5–7 исходов легко сдвинет балл на 0.02–0.03, что выглядит значимо, но является статистическим шумом. Смотрите на показатель только на дистанции от нескольких сотен ставок и обязательно стройте доверительный интервал вокруг среднего.
- Не сравнивайте баллы по разным видам спорта без нормировки: в футболе больше ничьих и плотные вероятности, в баскетболе — шире диапазон.
- Не усредняйте Brier score по рынкам с разной базовой неопределённостью без сегментации.
- Не используйте его как единственный критерий для изменения размера ставки.
Наконец, формула индифферентна к коэффициентам и к вашей финансовой политике. Она не знает про банкролл, Келли, просадки и лимиты. Это чисто диагностический термометр. Сначала проверьте честность вероятностей по Брайеру, а уже затем накладывайте на них ценностный фильтр и управление риском.
Практические советы
Собирайте прогнозы в едином формате: вероятность от 0 до 1 (или 0–100%) и исход 0 или 1. Не смешивайте «уверен» и «70%» — Brier score требует числа. Ведите таблицу с датой, событием, вашей вероятностью, реальным исходом и промежуточными квадратами разности. Считайте итог по формуле: среднее арифметическое квадратов ошибок. Так вы увидите динамику, а не только «плюс-минус». Сравнивайте себя не с нулём, а с базовыми моделями. Возьмите «постоянный прогноз» 50% на равновероятные исходы: его Brier score равен 0,25. Если ваш показатель стабильно ниже — вы даёте добавленную ценность. Для футбола удобно сравнивать с маржинальной линией: пересчитайте коэффициент в вероятность без маржи и посмотрите, бьёте ли вы этот «рынок».Выводы
Brier score — это строгий метрический счётчик, который переводит ваши «уверен на 70%» в конкретную оценку качества. Он не прощает самоуверенности: переоценил — получил штраф, недооценил — тоже. Для новичка это лучший тренажёр дисциплины: вы перестаёте мыслить «сыграло/не сыграло» и начинаете мыслить вероятностями.- Считайте по исходам, а не по купонам: 3 исхода в футболе — три отдельные вероятности и три слагаемых в формуле.
- Целевой ориентир на дистанции — быть ниже «базовой линии» (частоты исходов). Если ничьи случаются в 25% игр, средний балл 0,25 — это ноль навыка.
- Ведите дневник: событие, ваша p, результат, Brier по исходу. Раз в месяц смотрите среднее и сравнивайте с базой по лиге.
- Фиксируйте три вероятности на матч и считайте Brier по каждому исходу.
- Сравнивайте месячный средний с базой по рынку (например, 1X2 в РПЛ).
- Корректируйте оценки там, где ошибки повторяются (второй тайм, погода, календарь).