Big Data здесь больше не живет

Инструменты анализа Big Data используют для выявления террористов в потоке беженцев из Сирии, а также в аэропорту Хитроу для управления воздушными транспортными потоками и в интернет-магазинах для подбора специальных предложений. То, что становится обычным, рутинным, перестает быть модным и для публики умирает. Девиз нынешнего года — Big Data is Dead ("Big Data мертва").

Светлана Рагимова

Big Data мертва — сообщение, передающееся из уст в уста на всех конференциях по информационным технологиям. Но этот термин начал выходить из моды. Есть просто данные, их много, и с ними как-то надо справляться: хранить дорого, выбросить жалко — придется анализировать и извлекать пользу. Стало ясно, что без применения интеллекта, в том числе искусственного, здесь уже не обойтись.

Именно поэтому из ежегодного графика наиболее востребованных прорывных технологий Gartner 2015 Hype Cycle (дословно — "цикл ажиотажа") исчезла строчка Big Data, ее заменило машинное обучение, которое впервые оказалось на повестке дня.

"Несколько лет подряд мы бесконечно говорили о больших данных, где лидировали разработки Hadoop, а теперь Spark. На вершине следующей волны будет все касающееся применения технологий машинного обучения к большим данным. Но это просто способ продать аналитику и искусственный интеллект без использования этих грязных слов,— считает Эндрю Оливер, консультант в области ПО и сооснователь компании Mammoth Data.— Правда в том, что эра Big Data подходит к концу". Эксперт также напоминает о многочисленных замороженных проектах в области больших данных. "Мы достигли точки, где заканчивается Big Data и начинается настоящее применение технологий",— говорит он. Для индустрии это означает также, что теперь будет все меньше проектов типа "давай развернем эту штуку и посмотрим, что будет". ЛПР (лица, принимающие решения) будут более ответственно подходить к таким внедрениям и начинать с обдумывания бизнес-задач. Это значит, что даже те компании, которые продают платформы, начинают говорить о "решениях".

Эндрю Оливер говорит об американском рынке, но все это как никогда актуально для России. Ко всему прочему на наших ЛПР сказываются еще и экономические условия. Но в наших краях по инерции пока еще употребляют термин "большие данные" — Big Data. И продолжают инвестировать в соответствующие решения даже в кризис.

Алексей Попович, главный специалист управления по работе с производителями группы "Астерос", эксперт по продуктам Oracle, говорит: "Сегодня ведется огромное количество проектов в данной области. И все с "планетным" потенциалом. Обработка больших данных может решать задачи практически любой отрасли, в том числе транспорта, экологии, космоса и даже метеорологии. То есть Big Data может применяться везде, где ведется любая деятельность, в которой структуризация информации либо слишком дорогое удовольствие, как в случае с выявлением террористов в потоке беженцев, либо невозможна по каким-то причинам. Например, из-за недостатка времени для трансформации всего потока показателей, снимаемых приборами авиалайнера, которые записываются в черные ящики".

Андрей Суворкин, руководитель направления Big Data в России Teradata, комментирует: "Исчезновение Big Data с кривой развивающихся технологий, а именно так называется эта кривая, означает не смерть, а прямо противоположное. Почему-то ни у кого не возникает мыслей о смерти реляционных баз данных из-за того, что их нет на этом графике и в отчете".

По его словам, почти у всех крупных российских компаний есть идеи и у многих — понимание, какие задачи они хотят решать при помощи инструментов работы с большими данными. У клиентов есть четкие ожидания по снижению операционных затрат на хранение и обработку больших объемов данных, извлечение непосредственных выгод для бизнеса и перспективы развития.

Развитию рынка при этом мешает проблема дефицита квалифицированного персонала и относительная закрытость тех компаний, которым удалось сделать что-то конкретное, интегрировать решения в операционный бизнес.

Артур Трапизонян, директор по маркетингу "EMC Россия и СНГ", объясняет: "В силу того что заказчики, внедряя Big Data, стремятся получить конкурентное преимущество, они не торопятся раскрывать особенности реализованных проектов. Но могу сказать, что в России около 27% крупных организаций реализуют пилотные проекты с использованием анализа больших данных и примерно 13% уже внедрили их". По мнению Артура Трапизоняна, интерес к теме подхлестнули и новые продукты, появившиеся на рынке. К примеру, представленный в начале года Federation Business Data Lake сильно упростил процесс развертывания озера бизнес-данных (теперь для этого требуется всего семь рабочих дней).

Виктор Гриднев, руководитель центра технологий управления данными компании АйТи, подтверждает, что в проектах по большим данным только начинает оформляться понимание бизнес-задач, которые они могут решить в крупных компаниях. В настоящий момент, по его словам, запрос больше на управление данными и работу над качеством данных. Волна интереса к аналитическим функциям нахлынет позже.

Андрей Алексеенко, глава компании Teradata в России, добавляет: "Скорее можно говорить о близкой смерти термина, которую предсказывают уже на протяжении трех-четырех лет. По аналогии сейчас никому в голову не придет называть телефон смартфоном, так и большие данные переросли просто в данные, или "все" данные, как их иногда называют. Но задачи и проблемы, связанные с их анализом, извлечением ценности и прибыли, остались. Ведь большие данные — это не только тип данных, но и новый подход к аналитике. Вначале это можно было сравнить с синдромом новой игрушки, сейчас закупки и проекты стали более приземленными: заказчики смотрят на прогнозируемую отдачу от проекта и тогда инвестируют. Романтики типа "давайте поставим Hadoop-кластер и дальше посмотрим, как оно пойдет" сейчас нет".

Недолгая история

Реальные проекты в области работы с большими данными в России стартовали пару лет назад. К этому моменту завершились первые "пилоты" в компаниях, интересующихся этими инструментами. То есть сейчас внедрения носят прикладной характер, Big Data используют для конкретных бизнес-целей. Но пока еще идет процесс первичной автоматизации в этой области: организуются системы сбора и хранения, ведется работа над повышением качества данных. О глубокой аналитике большинство клиентов пока только думают, некоторые тестируют решения.

Роман Баранов, руководитель направления Analytics & Big Data компании КРОК, комментирует: "Российским организациям такие решения совершенно точно интересны. Ведь сейчас самое время проанализировать себя, конкурентов и клиентов, определить выигрышные для бизнеса стратегии развития и пр.".

Например, торговым сетям интересна задача формирования сфокусированных предложений, в этом помогают анализ поведения клиентов на сайте, дополнение клиентских профилей информацией из соцсетей. Финансовые структуры присматриваются к транзакционной аналитике в реальном времени. А контакт-центры стремятся к оперативной обработке жалоб и звонков с целью повышения лояльности клиентов. Например, КРОК уже протестировал алгоритм семантической аналитики (то есть распознавания голоса с переводом его в текст), работает над измерением уровня стресса операторов с целью оптимизации работы call-центра.

Один из прикладных проектов в этой области — пилотное тестирование системы, построенной на динамической модели прогнозирования пассажиропотока, которое провела компания КРОК. "Решение класса Big Data, реализованное на основе продукта с открытым исходным кодом, позволяет распределять пассажиропоток по времени, типу движения (вход-выход) и количеству пассажиров, а также выявлять корреляции между расписанием движения транспорта и продажами билетов. Для заказчика это выливается в возможность более оптимального подхода к стратегическим вопросам изменения расписания, оптимизации тарифов и планирования действий в случае внештатных ситуаций",— рассказывает господин Баранов.

Такие системы используются для контроля движения воздушного транспорта в лондонском аэропорту Хитроу, управления потоком автомобилей с целью снижения аварийности в Нагасаки (Япония), а также управления пассажирскими перевозками в Турции. "Самым показательным проектом для России была бы запись показаний всех приборов воздухоплавательных объектов,— говорит Алексей Попович.— Но мало того, что специалистов в области обработки данных катастрофически не хватает, так еще и возведено огромное количество корпоративных и ведомственных барьеров, не позволяющих эффективно и в краткие сроки использовать технологии Big Data".

Взгляд в будущее

В прошлом году аналитики IDC оценили российский рынок больших данных в $340 млн. Причем, как считают эксперты, он растет значительно быстрее глобального — на 40% и больше. В текущем году, по разным оценкам, эта цифра может увеличиться до $425-500 млн. Впрочем, предсказать объем в долларах не представляется возможным: кто знает, что будет с рублем к декабрю. В рублях разные аналитические агентства прочат рост в 25%, а то и все 50%. Это кроме всего прочего зависит от того, что включать в оценку. К примеру, хранилища данных продаются десятилетиями, но некоторые причисляют выручку от их продажи к новому сегменту. Увеличение объемов, судя по всему, будет, но не взрывное, без сюрпризов. Роман Баранов предполагает, что 25% рынок вполне вероятно нарастит, если судить по динамике проектов, которые ведет КРОК.

По мнению Артура Трапизоняна из EMC, в настоящий момент в России продолжается накопление объема информации до уровня больших данных. "Темп роста рынка за предыдущие годы составлял 50% в год, если он останется на прежнем уровне, то уже в 2018 году объем рынка достигнет $1,7 млрд. Доля российского рынка в мировом объеме составит около 3%, увеличившись с нынешних 1,2-1,5%",— добавляет он.

Андрей Алексеенко говорит, что не видит всплеска спроса на инструменты Big Data в РФ, так как для многих компаний сейчас вопрос выживания в режиме сокращения бюджетов более актуален. Но в то же самое время есть клиенты, которые рассматривают аналитику как средство по оптимизации расходов и получения дополнительной прибыли. Мировая практика может подталкивать к этому: результаты последнего исследования Forbes, проведенного пару месяцев назад говорят, что более 60% из 300 ведущих компаний планеты подтверждают высокую окупаемость инвестиций в аналитику больших данных.

По мнению Виктора Гриднева, в России в ближайшее время должна произойти более точная сегментация и разделение понятия "большие данные" на более узкие сегменты. "Для себя мы структурировали тему технологий управления данными на три части: область работы с качественными данными (Data Quality), области работы с системами бизнес-аналитики и визуализации данных (Business Intelligence), область работы с большими данными (Big Data)",— рассказывает он. Направление работы с данными, по мнению господина Гриднева, будет стремительно расти именно в первых двух секторах, так как там наиболее понятные полезные эффекты для бизнеса. Направление больших данных, которое включает задачи по анализу и обработке неструктурированных (транзакционных) данных, даст первые результаты в первую очередь в сфере финансов, здравоохранения, транспорта, образования. Но о каких-то результатах можно будет говорить в периоде два-три года минимум.

Роман Баранов не исключает, что сама по себе концепция Big Data лет через пять может переродиться в обычный акселератор аналитики в каком-нибудь привычном ПО наподобие Excel. И, возможно, все это будет работать в "облаке".