Statistics

Повторение статистики для начала путешествия по науке о данных

Часть 1, Часть 2, Часть 3, Часть 4, Часть 5


«Статистика — это грамматика науки»

Данное высказывание приписывают английскому математику Карлу Пирсону, который считается некоторыми основателем современной статистики.

Мы же поговорим о статистике в науке о данных.

Такие библиотеки машинного обучения, как Tensorflow или Scikit-learn, скрывают почти всю сложную математику от пользователей.
То есть нам не нужно особо разбираться в математике, но иметь общие, базовые знания все равно необходимо для более эффективного использования данных библиотек.

Я собираюсь написать пять коротких статей по следующим темам, чтобы начать, а затем сопровождать наше приключение по науке о данных:

Часть 1: Типы данных | Меры центральной тенденции | Меры изменчивости 

Часть 2: Распределение данных 

Часть 3: Меры расположения | Моменты случайной величины 

Часть 4: Ковариация | Корреляция 

Часть 5: Условная вероятность | Байесовская теорема

Что ж, приступим к первой части!


Типы данных

Самая базовая часть: данные делятся на три категории, основываясь на которых специалист по обработке данных выбирает, как проводить дальнейший анализ и обработку:

#1. Числовые данные представляют собой некоторую количественную информацию, которая поддается измерению и далее подразделяется на две подкатегории:

  • Дискретные данные — основываются на целых числах (например, количество людей)
  • Непрерывные данные — основываются на десятичных числах (например, цена, расстояние, температура).

#2. Категориальные данные — это качественные данные, применяемые для классификации данных по категориям (перечисление в программировании). Например, пол, марки автомобилей, страна проживания и т.д. Иногда категориям присваиваются номера для компактности, но они не имеют никакого математического значения.

#3. Порядковые данные представляют собой дискретные и упорядоченные единицы, например, места, занятые на Лиге чемпионов(1-е, 2-е, 3-е), приоритет ошибки (низкий, критический, showstopper), звезды у отеля (1–5).


Меры центральной тенденции

Представим, что у нас есть набор данных из пяти чисел:

{ 6, 3, 100, 3, 13 }

Среднее значение

Среднее значение (обозначаемое греческой буквой «мю» — μ) — некоторое число, заключенное между наименьшим и наибольшим значениями в наборе данных. Чтобы вычислить среднее значение, нужно сложить все значения и разделить получившуюся сумму на количество этих значений.

Напр: 6 + 3 + 100 + 3 + 13 = 125 →
μ = 125 ÷ 5 = 25

Медиана

Медиана — это середина набора данных. Чтобы вычислить медиану, необходимо рассортировать все значения (в порядке возрастания или убывания) и выбрать то значение, которое находится посередине.

Например: 3, 3, 6, 13, 100 → 6

Если количество точек данных четное, то для нахождения медианы просчитывается среднее значение двух точек по середине.

Медиана менее восприимчива к выбросам, чем среднее значение, и, следовательно, для выбора определенного значения мы должны принять во внимание то, как выглядит распределение данных.


Мода

Мода — это наиболее распространенное значение в наборе данных. Чтобы вычислить моду, необходимо найти число, которое встречается наиболее часто.

Например: 3:2, 6:1, 13:1, 100:1 → 3

Мода обычно важна для дискретных числовых данных, но не для непрерывных.


Меры изменчивости

Размах

Размах — это разница между наименьшим и наибольшим числами набора данных. Чтобы вычислить размах, необходимо вычесть наименьшее значение из наибольшего.

Например: 100 – 3 = 97

Результат показывает, насколько разнообразен набор данных, т.е. насколько он распространен. Но, как и среднее значение, размах очень чувствителен к выбросам.


Дисперсия

Дисперсия измеряет разброс данных. Чтобы вычислить дисперсию, необходимо взять среднюю точку квадратов разностей, полученных из среднего значения.

  • #1. Найдите среднее значение точек данных
В пункте, где мы вычисляли среднее значение, это число составляло 25
  • #2. Вычтите среднее значение из каждой точки данных.
6 - 25 = -19
3 - 25 = -22
100 - 25 = 75
3 - 25 = -22
13 - 25 = -12
  • #3. Возведите в квадрат результат
(-19)^2 = 361
(-22)^2 = 484
(75)^2 = 5,625
(-22)^2 = 484
(-12)^2 = 144
  • #4. Найдите среднее значение всех результатов (т.е. сложите все и разделите на количество)
361 + 484 + 5,625 + 484 + 144 = 7,098 →
7,098 ÷ 5 = 1,419.6

✏️«Сумма квадратов» 

Существует две причины, почему на #3 этапе мы возводим результат в квадрат:

  • Отрицательные разницы обладают тем же влиянием, что и положительные, т.е. они не исключают друг друга
  • Это усиливает эффект, который есть у выбросов в наборе данных.

✏️ Полнота данных 

На #4 этапе существует небольшое различие, зависимое от того, насколько полным является наш набор данных:

  • Для полной совокупности мы делим на количество точек данных (n), т.е. #4 этап был правильным, так как в данном случае мы имеем полную совокупность
  • Для выборок мы делим на количество точек данных минус 1 (n — 1)
7,098 ÷ 4 = 1774.5

Среднеквадратическое отклонение

Среднеквадратическое отклонение (обозначаемое греческой буквой «сигма» — σ) — это квадратный корень из дисперсии.

Например: σ = SQRT(1,419.6) = 37.68

Оно используется для того, чтобы узнать, какая точка данных является выбросом в зависимости от того, на сколько среднеквадратичных отклонений она далека от среднего значения.
В нашем случае значение 100 является выбросом:

μ = 25
σ = 37.68
Выбросы (верхняя граница): 25 + 37.68 = 62.68
Выбросы (нижняя граница): 25 - 37.68 = -12.68
Таким образом, значения больше, чем 62.68, и ниже, чем -12.68, являются выбросами.

Перевод статьи Semi Koen: Statistics is the Grammar of Data Science — Part 1