9.3 ТРЕНДЫ АНАЛИЗА ДАННЫХ
Традиционная аналитика (оценка признака, различий, взаимосвязей и т. д.), описанная в разделе 9.1, остается востребованной; владение ее инструментами формирует мышление аналитиков и управленцев, позволяет принимать верные решения на основе данных. Вместе с тем в последние годы развиваются новые направления, в которых работают как аналитики, так и исследователи данных. Если аналитик получает из данных те или иные «следы», элементы реальности (например, динамику численности населения), то исследователь еще и извлекает данные, работает с неструктурированными данными; применяет математические модели для аналитических задач, прогнозирования, разработки на их основе приложений и сервисов.
Интеллектуальный анализ данных (Data Mining) — направление аналитики, которое применяется к очень большим объемам данных, когда вариантов их интерпретации слишком много и перечислить все гипотезы невозможно. Задача в таком случае — извлекать из данных полезные догадки (такого рода озарения называют «инсайтами»), черпать идеи, находить неожиданные взаимосвязи и скрытые закономерности.
Задачей для интеллектуального анализа данных может быть, например, сегментация пользователей на основе кластерного анализа, выявление стилей поведения, поиск аномалий в данных. Еще одна задача — определение сходства между объектами. Насколько два объекта похожи между собой по набору критериев? Возможно ли, например, сгруппировать районы, области, населенные пункты по сходным проблемам или перспективам развития? Можно ли — если идти еще дальше — выявить кластеры, группы таких объектов? Как люди, так и объекты управления (отделы, города, регионы) всегда индивидуальны, но выявление общих признаков существенно улучшает качество и скорость работы с ними.
Задачей для интеллектуального анализа данных может быть, например, сегментация пользователей на основе кластерного анализа, выявление стилей поведения, поиск аномалий в данных. Еще одна задача — определение сходства между объектами. Насколько два объекта похожи между собой по набору критериев? Возможно ли, например, сгруппировать районы, области, населенные пункты по сходным проблемам или перспективам развития? Можно ли — если идти еще дальше — выявить кластеры, группы таких объектов? Как люди, так и объекты управления (отделы, города, регионы) всегда индивидуальны, но выявление общих признаков существенно улучшает качество и скорость работы с ними.
Когнитивный анализ данных с помощью методов машинного обучения (Machine Learning) развивается в науке о данных (Data Science) — области знания, тесно связанной с интеллектуальным анализом данных, предполагающей, как правило, использование больших массивов данных и мощных вычислительных средств. Для такого анализа разрабатываются алгоритмы, имитирующие некоторые когнитивные способности человека.
Предположим, нам надо изучить содержание тысяч электронных писем, которые получает организация, и комментарии к ее постам в соцсетях. Можно применить систему работы с текстами, которая проанализирует тип обращений, количество сообщений того или иного типа и даже разделит комментарии по «знаку» эмоциональной оценки на положительные, нейтральные, отрицательные.
«Некоторые из наших университетов-партнеров сообщили, что лучше всего продаются курсы по Data Science и продвинутой аналитике. И это здорово, это модно, это круто и весело. Но это не волшебная таблетка и не серебряная пуля. Работа этих технологий зависит от степени достоверности информации. Мы не можем просто поверить в популярную технологию, про которую люди говорят: „Возьмите свои данные и положите их в озеро данных, и случится волшебство“. Потому что это неправда, не так ли?»
Кристофер Брэдли, вице-президент по профессиональному развитию DAMA International
Кристофер Брэдли, вице-президент по профессиональному развитию DAMA International