Гигантский объем уже существующих данных практически не обрабатывается и не хранится, не более 20% создаваемых данных вообще попадают в мировую сеть, подсчитали в IDC. К 2020 году показатель удвоится, но что важнее — повысится способность компаний извлекать из данных пользу.
Цифровые данные, производимые человечеством, в массе своей эфемерны и являются короткоживущими, констатируют аналитики IDC в отчете Digital Universe 2020. За 2013 год, по оценкам компании, мир произвел 4,4 Зетабайта (триллиона гигабайт) данных, но лишь 20% из них было как-то обработано или сохранено. Остальной объем составляют не требующие хранения формы контента, например, видеопотоки трансляций онлайн-кинотеатров или игровые взаимодействия в сервисах вроде Xbox Live, а также данные, генерируемые устройствами, не подключенными к Интернету. Последняя категория весьма обширна и включает, прежде всего, различные цифровые датчики.
Именно умные сенсоры внесут основной вклад в повышение доли полезной, достойной обработки информации в Сети. Также большую роль в «осмыслении» хранимой информации принесет рост объема метаданных — данных о данных, сопроводительной информации, например, к аудиофайлам. IDC предрекает, что к 2020 году объем информации в целом вырастет десятикратно, до 44 Зетабайт, а доля данных, которая должна храниться и обрабатываться, вырастет до 40%.
Неудивительно, что последние цифры сопоставимы с другой оценкой — процентом «полезных» данных, которые могут быть осмысленно обработаны. На сегодня он составляет 22%, а к 2020 году вырастет до 37% — преимущественно за счет данных от встроенных систем, датчиков и так далее. Сегодня подобные устройства отвечают лишь за 2% генерируемых данных, что вырастет до 10% через шесть лет. Также ожидается смена «географической прописки» данных, поскольку на сегодня до 70% данных генерируется в развитых странах, но к 2020 году их вклад снизится до 40% — свое возьмут развивающиеся страны, в первую очередь Бразилия, Россия, Индия и Китай.
Из этих оценок и выводов следуют достаточно интересные выводы для бизнеса. Во-первых, попытка хранить все данные безнадежна, поскольку емкость систем хранения растет медленней, чем объем производимой информации. Уже сегодня всех винчестеров на планете хватит лишь на 33% существующей информации, а к 2020 году показатель снизится до 15%. Поэтому необходимо сосредоточиться на хранении тех данных, которые можно с пользой обработать. Таковых пока примерно 5%, при должном развитии технологий Больших Данных эта цифра может удвоиться.
Во-вторых, следует тщательно и на регулярной основе анализировать возможности бизнеса по получению данных, например, из новых подразделений компании. Датчики и сенсоры, объединенные в «Интернет вещей», могут радикально изменить подходы к логистике, торговле, оказанию медицинской помощи и многим другим областям, поставляя наиболее ценную информацию. В целом IDC выделяет четыре основных критерия, которые маркируют поток данных как ценный, достойный анализа и хранения: простота доступа к информации по сети, доступ в реальном времени, наличие у информации влияния на большой процент клиентов или сотрудников, потенциал данных что-то трансформировать по итогам анализа.
Каждый из критериев весом сам по себе, но данные, сочетающие несколько признаков, приоритетны. Работа с ними ― благодарное дело. По оценкам, опубликованным в Harward Business Review, компании, которые лидируют в своей индустрии по использованию аналитики в принятии решений, в среднем на 5% более продуктивны и на 6% более прибыльны, чем конкуренты. В-третьих, критически важным фактором в планировании становится обеспечение хранения данных с соблюдением стандартов безопасности и конфиденциальности.
Второй приоритет — хранение информации в такой форме, которая подразумевает нестандартные и неформализованные заранее способы обработки. То есть от традиционных хранилищ заранее структурированной информации происходит переход к неструктурированным данным разной природы, которые некоторые производители называют «озерами данных».
В-четвертых — и это самое важное — любой бизнес среднего и крупного размера станет цифровым в том смысле, что данные и их верное использование будут определять бизнес-модель и принципиально влиять на показатели эффективности. Поэтому IDC рекомендует оценивать возможности «цифровизации» компании и ее рыночного сегмента два раза в год и создать в топ-менеджменте компании специальную позицию для «цифрового директора», который будет управлять этой деятельностью и трансформировать бизнес для работы в цифровом будущем.