Глобальный конкурс по сжатию данных доказал, что возможно улучшить коэффициент сжатия на 25% относительно фактических индустриальных стандартов
Московский государственный университет им. М. В. Ломоносова (МГУ) провел соревнование экспериментальных программ сжатия данных без потерь — Global Data Compression Competition. Партнером соревнования, проходившего с июня по ноябрь 2020 года, стала компания Huawei.
Такие соревнования — редкие события в данной области информационных технологий. Целью конкурса было привлечение интереса к универсальному сжатию данных и стимулирование разработки новых алгоритмов. Конкурировали за денежные призы из общего фонда в размере €50 тыс. разработчики программного обеспечения и исследователи со всего мира. В отдельных категориях сжатые тестовые файлы программ-победителей составили 75% и менее от размера архивов конкурентоспособных современных компрессоров, использованных в качестве эталонов. Результаты конкурса по сжатию данных Global Data Compression Competition опубликованы на сайте.
Несмотря на постоянно увеличивающийся объем накопителей данных и рост пропускной способности компьютерных сетей, сжатие данных без потерь остается важной задачей во многих областях информационных технологий. Достаточно упомянуть такие задачи, как снижение сетевого трафика, резервирование файлов и баз данных, распространение дистрибутивов и обновлений программного обеспечения по сети, сжатие критически важных изображений, повышение эффективного объема и скорости работы накопителей данных. С другой стороны, регулярно проводимые сравнения и соревнования для программ сжатия без потерь являются главным образом прерогативой энтузиастов. Поэтому конкурс, проведенный лабораторией компьютерной графики и мультимедиа МГУ, преследовал две цели:
- способствовать исследованиям и разработке новых и существующих алгоритмов универсального сжатия данных без потерь;
- привлечь внимание к области неискажающего сжатия данных.
Соревнование стартовало в июне этого года. До конца ноября разработчики и исследователи могли присылать на конкурс свои компрессоры. В декабре были подведены итоги и опубликованы результаты. Участники соревновались в 12 конкурсных категориях, отличающихся типом данных и скоростью обработки. Каждая категория имела собственные призы. Только часть тестовых данных была известна участникам, но ранжирование делалось на основании результатов для полных тестов. Несколько участников заслуженно выиграли денежные призы, при этом максимальная сумма выигрыша на человека составила €21 тыс. Детальные результаты конкурса представлены на странице.
Дмитрий Ватолин, руководитель проекта от МГУ, отметил: «Мы удовлетворены итогами конкурса. Нам удалось не только привлечь к участию признанных специалистов по сжатию данных без потерь, но и способствовать действительно сильным результатам. В отдельных категориях размер сжатых данных составлял 75% и менее от эффективных популярных компрессоров, которые мы использовали как реперные. При этом скорость обработки была сравнимой, так что в определенных случаях однозначно возможно сжатие данных как минимум на 25% лучше, чем для популярных утилит». Дмитрий Ватолин также добавил: «Конкурсы и хакатоны в сжатии данных редки, поэтому мы гордимся, что именно наша лаборатория провела это соревнование. Полагаю, что конкурс дал новые стимулы для развития исследователям и разработчикам алгоритмов и программ сжатия данных».
Хоу Жуй, директор Московского исследовательского центра Huawei, высоко оценил сам факт проведения, а также результаты конкурса. «Сжатие данных без потерь является важной темой наших НИОКР. Быстрое и эффективное обратимое сжатие — это критичный элемент во многих продуктах Huawei линейки Cloud & AI, в особенности в блочных системах хранения данных. Мы готовы поддерживать такие начинания не только финансово, но и с помощью нашей экспертизы. Со стороны Huawei в состав жюри конкурса вошли заслуженные и известные специалисты, что позволило вывести соревнование на еще более высокий профессиональный уровень»,— отметил Хоу Жуй.