Умное саммари
на пяти листах
Главная идея урока: до модели надо проверить и данные, и картинку. График может преувеличить эффект, а одна больная клетка — изменить весь анализ.
Среднее, медиана и мода:
кого выбирать
Одно число удобно для первого портрета группы. Но у каждого «центра» есть свой характер, свои плюсы и свои ловушки.
Среднее
Точка баланса. Использует всю информацию.
+ удобно сравнивать
− может не быть «типичным»
Медиана
Отвечает: кто стоит ровно посередине?
+ хороша для перекоса
− может скрыть форму
Мода
Особенно полезна для категорий и размеров.
+ работает с категориями
− может не быть вовсе
МИФ: правый хвост ⇒ среднее всегда больше медианы
Так часто бывает на красивых одновершинных картинках, но общей теоремы нет.
Правый хвост есть, а среднее меньше медианы. Картинка — эвристика, не доказательство.
🥗 Диетная загадка
По среднему: диета 1 лучше — один человек сбросил 300 фунтов.
По медиане: диета 2 лучше для «типичного» участника — почти все похудели заметно.
Правило: одно число — начало разговора. Смотрим данные, график и несколько мер вместе.
Меры разброса:
стабильность тоже важна
Два набора могут иметь одинаковое среднее и совершенно разный смысл. Разброс показывает, насколько значения удалены друг от друга и от центра.
🎯 Одинаковое среднее — разный риск
Класс A: 80, 80, 80, 80, 80.
Класс B: 40, 60, 80, 100, 120.
В обоих среднее = 80. Но один результат стабилен, другой — непредсказуем.
Где это важно?
Оценки, цены, доставка, медицина, производство. Среднее время может быть одинаковым, а надёжность — совсем разной.
Диапазон
Самая простая мера. Быстро, но видит только края.
Единицы те же, что у данных
Дисперсия
Каждому значению даёт голос; большие отклонения наказывает сильнее.
Единицы в квадрате
Выборочная дисперсия
Деление на n−1 поправляет систематическое занижение разброса по выборке.
Используем для выборки
Стандартное отклонение
Возвращает разброс в понятные единицы данных.
см, кг, минуты…
MAD
Среднее абсолютное отклонение: проще объяснить и обычно мягче реагирует на выбросы.
Те же единицы
📦 Box plot
Коробка показывает центральные 50%, линия — медиану, «усы» — обычный диапазон, точки — кандидаты в выбросы.
Главная ловушка
Большой разброс может быть реальностью, смесью разных групп или ошибкой. Выброс — не мусор по умолчанию: его сначала расследуют.
Практический набор: медиана + MAD/box plot для устойчивого взгляда; среднее + SD — когда важны все отклонения.
EDA и CRISP-DM:
карта работы аналитика
EDA помогает познакомиться с данными. CRISP-DM не даёт забыть, зачем мы вообще начали анализ и как довести результат до жизни.
🍊 Orange в EDA
File → Data Table → Feature Statistics → Box Plot. Orange быстро показывает структуру, пропуски, статистики и странности. Но решать, что исправлять, должен аналитик.
🔁 Маршрут перестраивается
После оценки можно вернуться к данным, после подготовки — к цели, после запуска — к качеству. Итерации не ошибка, а нормальная жизнь проекта.
Формула урока: понять цель → познакомиться с данными → вылечить их → измерить центр и разброс → проверить → довести результат до действия.
Проверь ось, период, базу процентов, bins, двойные шкалы и исчезнувшие данные.
Пропуски, выбросы, дубликаты, неправильный формат и шум требуют расследования.
Среднее, медиана и мода отвечают на разные вопросы. «Типичный» — не всегда средний.
Диапазон, дисперсия, SD, MAD и box plot показывают стабильность и форму данных.
Оригинал, таблица, summary и графики должны рассказывать одну непротиворечивую историю.
CRISP-DM — карта, а не тюрьма: возвращайся назад, если данные или задача изменились.
Рецепт урока №3
График — не доказательство. Среднее — не вся история. Выброс — не мусор.
Хороший аналитик проверяет масштаб, качество данных, центр, разброс и путь от вопроса до решения.