В 2015 году Gartner убрал термин Big Data из своего графика "Hype Cycle for Emerging Technologies", который показывает отношение бизнеса к самым обсуждаемым новым технологиям. Но это не значит, что класс решений для работы с большими данными перестал существовать. Они просто перестали быть предметом обсуждений — бизнес перешел к их повседневному использованию.
Как показывает исследование Gartner, проведенное в 2016 году, инвестировать в инструменты работы с большими данными стали больше, но реже. Фокус переместился непосредственно с больших данных на бизнес-проблемы, которые они могут решить. В 2016 году 48% компаний в мире инвестировали в эти инструменты, это на 5% больше, чем в 2015 году. Однако число компаний, которые планируют выделить бюджеты на это направление в ближайшие два года, сократилось с 31 до 25%.
По мнению Ника Хойдекера, директора по исследованиям Gartner, такие изменения свидетельствуют о том, что проблема теперь не в самих больших данных, а в том, как их используют. "Хотя организации поняли, что big data — это не какие-то специфические технологии, им теперь необходимо перестать думать о больших данных как о самостоятельной силе", — сказал он.
Идея в том, что big data — это набор технологий и подходов к управлению данными для проведения анализа, применимого для решения самых разных задач. Директор по исследованиям Gartner также добавил, что успешное применение этих инструментов зависит от подхода, который использует компания. Целостный подход включает в себя сосредоточенность на бизнес-результатах, вовлечение опытного персонала, использование необходимых данных и инфраструктуры.
В России активные пользователи big data — это в первую очередь финансовые компании. Президент и председатель правления Сбербанка Герман Греф на годовом общем собрании акционеров Сбербанка рассказал о том, как компания использует подобные инструменты: "Большие данные — это то, что позволило нам радикально изменить процесс управления рисками. Банк использует порядка 600 моделей для оценки самых различных видов рисков: кредитных, операционных и т.д. Банк расширил использование больших данных из внешних источников в кредитном анализе. Это повлияло как на качество, так и на скорость принятия решений" На анализе больших данных построен, в частности, продукт для малого бизнеса "Смарт Кредит".
Анна Михеева, Руководитель направления BI компании "Аплана. Центр Разработки" (ГК АйТи) говорит, что big data также помогает банкам решать задачи кредитного скоринга, сегментации клиентов с целью формирования таргетированных предложений. "Например, мы построили и поддерживаем клиентское хранилище данных с помощью которого "Почта России" использует информацию о своих клиентах для создания новых продуктов и цифровых сервисов. Еще одно из направлений использования Big Data в "Почте России" — прямая адресная рассылка (Direct Mail) клиентам-физлицам. Зная уже достаточно много о клиентах и их предпочтениях — что и как они потребляют, можно точечно рассылать им рекламу", — рассказывает она.
По словам Анны Михеевой, в ритейле с помощью big data можно прогнозировать спрос и, как следствие, оптимизировать складские запасы. В телекоммуникационном секторе — прогнозировать отток абонентов и создавать предложения новых продуктов и услуг. Также со стороны телекомов возрастает интерес к анализу неструктурированных данных, а именно — к выявлению ценной информации в накапливаемых компанией документах.
Константин Кутуков, директор по маркетингу группы "Астерос", уверен, что выиграть от использования этих технологий могут все без исключения отрасли, но морально и технологически еще не все готовы к ее внедрению. "Основными потребителями big data являются в первую очередь компании финансового сектора, телекома, торговли и, что особенно важно, государство" — говорит он.
По словам Константина Кутукова, коммерческие заказчики используют обработку больших объемов данных, например, для анализа платежеспособности клиентов, потребительского поведения и рыночных трендов. Это помогает повышать конкурентоспособность и быстро адаптировать предложения под конкретный сегмент заказчиков. Он приводит пример: "У операторов большой тройки есть подразделения, специализирующиеся на работе с big data, причем они призваны решать в первую очередь задачу генерации дополнительной выручки. То же самое можно сказать о банковском секторе: решения по анализу больших данных внедрены в Сбербанке, Газпромбанке, ВТБ24, Альфа-Банке, ФК "Открытие" и многих других. Ритейл (X5 Retail Group, "Глория Джинс", "Юлмарт", "Лента", "М.Видео" и др.) также находится в числе первопроходцев рынка big data - начиная от анализа покупок, оптимизации логистики и номенклатуры закупок до раскладки товаров и управления программами лояльности".
В госсекторе, по заявлению Константина Кутукова, применение этих технологий может значительно повысить качество управления и оказания услуг населению, но пока используются мало. "В числе лидеров здесь ФНС, Аналитический центр правительства России, Пенсионный фонд, Правительство Москвы, Фонд обязательного медицинского страхования. Отдельным блоком стоят органы безопасности, для которых big data уже давно служит инструментом раннего выявления и предотвращения угроз, что особенно важно в нынешней ситуации, — говорит он. — Реализация концепции "умных городов" и развитие цифровой медицины также окажут большую поддержку внедрению технологий и повысят качество жизни и социальной инфраструктуры страны".
Если говорить о поставщиках решений для работы с big data, то, по словам Кутукова, на российском рынке преобладают пока западные вендоры, чьи продукты основаны на отраслевых стандартах. В их числе Oracle, Microsoft, SAP, Teradata, EMC, IBM и другие. Но Кутуков уверен, что у российских игроков тоже есть хорошие заделы и реальные шансы на успех в этом продуктовом сегменте.
Взять след
По мнению Анны Михеевой, процесс освоения этих технологий будет продолжаться по тем направлениям, которые пока недостаточно развиты. Например, компании, у которых уже накоплены большие объемы транзакционных клиентских данных, пока еще не научились обрабатывать их в реальном времени. А это может пригодиться для предоставления клиентам персонализированных предложений в момент обращения, для выявления подозрительных операций. По словам госпожи Михеевой, повышенный интерес к таким решениям наблюдается со стороны заказчиков из финансовой сферы. Ритейл и производственная отрасль также демонстрируют рост интереса к инструментам для интеллектуального анализа имеющихся больших данных с целью совершенствования системы прогнозирования спроса, оптимизации объема производства и складских запасов с учетом множества факторов. "Для решения подобных задач мы используем платформы с открытым кодом Hadoop/Kafka/Spark, промышленные решения на основе СУБД PostgreSQL, продукты российского производителя Basegroup Labs, ETL платформу Pentaho Data Integration и многое другое. Мы ожидаем роста объема портфеля подобных заказов примерно на 40% в этом году", — добавляет она.
Константин Кутуков считает, что одна из ключевых проблем при освоении big data заключается в нехватке квалифицированных кадров — Data Scientists. "Специалистов такого профиля мало на рынке, а качественная реализация любого проекта в области больших данных требует правильной постановки задачи, грамотного управления и специфических знаний" — объясняет он. В числе других препятствий он отмечает необходимость создания качественно новой среды для хранения, обработки и передачи данных, которая должна обеспечить возможность быстрой потоковой обработки (in-memory) разнородной информации. То есть помимо аналитического программного обеспечения необходим скачок в развитии инфраструктуры. "Отчасти это реализуется в рамках концепции "озер данных", когда централизованно агрегируются и обрабатываются большие объемы информации из множества источников" — поясняет господин Кутуков.
Необходимо решить и вопрос безопасности данных и соблюдения конфиденциальности — для работы с big data необходимо предусмотреть комплексное обеспечение защиты и обеспечить высокий уровень надежности систем. По словам Кутукова, препятствием для широкого освоения технологий big data в России остается и отсутствие у большинства компаний практики накопления больших объемов данных и их низкое качество.
"Тем не менее, в России уже появились операторы больших данных, аккумулирующие и обрабатывающие их в соответствии с потребностями заказчика, — говорит Константин Кутуков. — Это позволяет компаниям из разных отраслей быстрее и дешевле интегрировать инструменты big data в свою деятельность. Кроме того, технологии обработки больших данных являются фундаментом для развития систем машинного обучения и составным звеном технологий ИИ".
Применение алгоритмов глубокого обучения (maching learning) и искусственного интеллекта — следующий этап развития технологий больших данных.