Консалтинговая компания Forrester однажды так сформулировала смысл явления Big Data: «Большие данные объединяют техники и технологии, которые извлекают смысл из данных на экстремальном пределе практичности». То есть, это работа с информацией огромного объема и разнообразного состава, часто обновляемой и находящейся в разных источниках с целью увеличения эффективности бизнеса, создания новых продуктов и повышения конкурентоспособности.

В России рынок Big Data пока невелик. Это несколько десятков проектов – пилотных, либо на начальной стадии внедрения. Компания IDC полагает, что этот сектор рынка составляет порядка $340 миллионов. Около $100 миллионов приходится на решения по бизнес-аналитике SAP, примерно $250 миллионов составляют аналогичные решения Oracle, IBM, SAS, Microsoft.

В мире быстрее всего будет развиваться доля, приходящаяся на системы хранения данных, затем, «облачные» технологии (Iaas), решения «под ключ».

Менеджер IDC по исследованиям Александр Прохоров отметил, что технологии Big Data, в первую очередь, будут востребованы в телеком-отрасли, ориентированной на работу с огромным количеством клиентов. В частности, проекты у телеком-операторов сейчас ведет компания IBS. Заинтересованы во внедрении данной технологии крупные банки. Например, Центробанк решение Big Data использует для выявления фактов мошенничества. Еще один проект находится в стадии реализации в «Банке Тинькофф». Госструктуры (министерства и ведомства) также рассматриваются в качестве кандидатов на внедрение соответствующих решений.

Любопытный факт: еще до появления на рынке индустриальных решений компания Яндекс сама разработала и внедрила у себя систему для анализа предпочтений пользователей с целью предложения адресной рекламы. По сути, система использует технологии обработки Big Data.

Менеджер IDC по исследованиям Александр Прохоров

Директор компании «Терн» Екатерина Лозовая отметила, что в настоящее время аналитика мало востребована со стороны малых компаний. Внедрение аналитических инструментов полностью зависит от заинтересованности руководителя. Однако крупные корпорации, накопившие огромное количество данных, были просто вынуждены внедрять у себя аналитические системы, причем они начали использовать их еще до кризиса 1998 года.

В качестве примеров Екатерина Лозовая назвала проект в банке ВТБ (внедрили Business Object), компании «Сургутнефтегаз», Магнитогорском металлургическом комбинате. Представители банка ВТБ признали, что аналитическая система позволила разгрузить персонал от рутинной работы, в результате банк смог уделять больше внимания своим клиентам, не только относимым к категории V.I.P.

Станислав Семененко, руководитель отдела по продаже платформы приложений, Microsoft, полагает, что Big Data постепенно становится частью систем бизнес-аналитики. Распространение этой технологии сходно с распространением ИТ – от крупных компаний к небольшим. «Распространение этой технологии остановить невозможно, так же, как распространение Интернета», - уверен Станислав Семененко.

Александр Яковлев, менеджер по продуктам системы UNIX и системам хранения данных, Fujitsu напомнил, что технология Big Data начиналась как научная работа: при установке коллайдера стало понятно, что с огромным количеством данных справиться с помощью традиционных систем не удается. Сегодня новое технология перешла в новое качество – из закрытой, с ограниченным использованием, она стала доступной и позволяет компаниям, работающим в телеком-отрасли, в ритейле добиться значительных успехов, ощутимо увеличить прибыль.

Глава представительства IDC в России Роберт Фариш

По словам Александра Яковлева, Big Data оказалась стимулом поиска новых решений для разработчиков аппаратных средств. Так появились технологии дедупликации, вычислений in-memory, возможность параллельной обработки данных на дисковых подсистемах. Что касается технологий хранения данных, сегодня стало понятно, для этого нужен комплекс средств: дисковые подсистемы, ленточные накопители и др.

Борис Буланов, руководитель направления «Решения для телекоммуникационных компаний», эксперт по big data, Informatica, отметил, что существует проблема кадров. Для внедрения этих технологий и работы с большими данными требуются специалисты data-science. Но таких специалистов сегодня не готовит ни один вуз, по крайней мере, в России. Некоторые компании самостоятельно учат своих сотрудников данной науке, в частности, компания EMC, ARDA. Сложность в том, что в каждой области специализация data-science весьма различна.

Артур Хачуян, руководитель департамента кибернетики, Apostol Research and Development Agency (ARDA) рассказал, что студента с высшим образованием по специальности «статистика», можно обучить за месяц.

Уже сейчас технологии Big Data могут принести пользу в медицине, например, для анализа мониторинга здоровья пациентов, накопления знаний о человеческом теле. Эти технологии вполне можно применить для улучшения жизни города (они уже внедрены в Лондоне и Барселоне для планирования транспортной инфраструктуры).

Много говорится о преимуществах Big Data, но как у всякого явления, эта технология имеет и свои отрицательные стороны. Например, Big Data несовместимы с защитой персональных данных. Те же камеры слежения, которые используют для измерения скорости едущих автомобилей, в состоянии отследить маршрут автомобиля, что уже является вторжением в частную жизнь гражданина, и так далее.  «Старший брат следит за тобой» - это тоже о технологии Big Data. Но, как говорится, «будем думать о хорошем».