Теперь Кью работает в режиме чтения

Мы сохранили весь контент, но добавить что-то новое уже нельзя

Какой вид анализа используют при обработке Big Data?

It (информационные технологии)Большие данныеОбработка данных
Ирина Тимофеева
  · 911
Head of data-related educational programs, PhD  · 28 авг 2017

Существует несколько видов анализа данных, и почти все они используются в Big Data.

1) Дескриптивный анализ. Это анализ на уровне средних значений, медиан, квартилей, средних отклонений и т.д. Используется для первончального понимание имеющихся данных + контроль над качеством данных.

2) Разведочный анализ. Его можно рассматривать как продолжение дескриптивного анализа. В нем зачастую используются разные виды визуализаций. Существует прекрасный пример того, как ряды, имеющие одинаковые дескриптивные статистики, по сути обладают разными распределениями - Квартет Энскомба

3) Предиктивный анализ. Тот вид анализа, который приносит конечную ценность. В рамках него мы прогнозируем значение какой-то переменной, используя инструменты машинного обучения. Можем, например, прогнозировать стоимость недвижимости по имеющимся данными, или прогнозировать пол, возрастную категорию, уровень дохода только по логам посещения пользователя в интернете.

Большой объем данных скорее накладывает ограничения в выборе инструментов, при помощи которых эти данные анализируются, и алгоритмов. А в остальном - используется те же самые виды анализа.