Добавить новость
Добавить компанию
Добавить мероприятие
Тесты цифровой техники
|
|
|
SAS In-Memory Statistics for Hadoop: новые возможности высокопроизводительной аналитики
19.09.2014 09:15
версия для печати
Анализ больших данных с помощью технологии in-memory, возможность использования широкого спектра аналитических алгоритмов для исследования и моделирования в распределенной среде Hadoop – вот только некоторые из неоспоримых преимуществ, которые получат пользователи нового продукта SAS In-Memory Statistics for Hadoop, выпущенного мировым лидером в области решений и услуг в сфере бизнес-аналитики. «Эти преимущества позволяют беспрецедентно сократить время обработки аналитических запросов при работе с большими данными, – комментирует Андрей Свирщевский, руководитель направлений аналитики и гарантирования доходов компании SAS Россия/СНГ. – Так, построить дерево решений на таблице объемом 467 GB с 520-тью колонками и 120 млн строк теперь можно всего за 10 минут, а случайный лес из 10-ти деревьев строится и вовсе за 4 минуты. На текущий момент это самый быстрый инструмент применения методов углубленной аналитики во всей линейке SAS». Новый продукт SAS работает по принципу интерактивного программирования и позволяет сразу нескольким пользователям совместно изучать и анализировать данные, создавать и сравнивать модели, а также оперативно работать с большими объемами информации на базе технологии Hadoop. Основные преимущества SAS In-Memory Statistics for Hadoop Это решение расширяет линейку продуктов SAS, построенных на базе технологии SAS LASR Server и использующих прогрессивный метод «in-memory» для обработки данных непосредственно в оперативной памяти. Первым из них стало ныне популярное на рынке решение SAS Visual Analytics для интерактивной визуализации данных. Применение SAS LASR Server дает возможность удерживать данные в оперативной памяти кластера блейдовых серверов и работать с ними в интерактивном режиме. Пользователь SAS In-Memory Statistics for Hadoop получает доступ в режиме интерактивного программирования ко всем основным методам статистического анализа и машинного обучения. Среди них – линейная и логистическая регрессии, обобщенные линейные модели, деревья решений и случайный лес, прогнозирование временных рядов, анализ текстовых данных, кластеризация и др. При этом есть возможность выполнять вспомогательные и служебные задачи: готовить данные к анализу, выделять значимые предикторы, сравнивать модели, формировать код применения моделей. Новшество, которое добавляет этот продукт к широкому спектру аналитики SAS, – это возможность строить Рекомендательные Системы, используя большой набор методов их построения. Такие системы востребованы для решения широкого класса бизнес-задач, в том числе целевого маркетинга. На основе анализа информации о том, какими продуктами и услугами воспользовался или пользуется каждый клиент, определяются типовые профили потребления продуктов и услуг, на выходе для каждого клиента выдается продукт/услуга, которые являются для него наиболее востребованными. Такой способ эффективнее классических методов «Cross-Sell» и хорошо подходит для реализации концепции «Next Best Offer» в условиях широкого спектра предлагаемых продуктов и услуг. Этот метод особенно понравится тем, у кого нет возможности построить отдельные модели «Up-Sell» для каждого продукта. Технология Hadoop повышает надежность системы за счет использования кластера серверов, что позволяет гарантировать сохранность данных при одновременном снижении стоимости аппаратного обеспечения, высокой степени масштабируемости, отсутствии жестких требований к формату данных и их предобработке. Почему Hadoop? Согласно прогнозам компании IDC, объем продаж Hadoop к 2016 г. достигнет 812,8 млн долларов США при среднегодовом темпе роста 60,2%. Эксперты SAS уверены, что заказчики и в дальнейшем продолжат использовать эту архитектуру хранения больших данных с целью их анализа и получения скрытой в них ценнейшей информации. Благодаря стратегическому партнерству SAS c такими компаниями, как Cloudera и Hortonworks, клиенты получают лучшие возможности использования отраслевой аналитики в рамках избранных ими решений на базе Hadoop. Hadoop распределяет данные по кластеру, состоящему из недорогого аппаратного обеспечения (commodity hardware). Также система обнаруживает и устраняет сбои, что крайне важно при распределенной работе. Помимо низкой стоимости аппаратных средств и защиты данных с помощью резервного копирования, Hadoop обладает другими важными преимуществами, среди которых: • Параллельная обработка данных: модель распределенных вычислений Hadoop позволяет обрабатывать огромные объемы данных, причем в рекордно короткие сроки. • Масштабируемость: мощность системы Hadoop можно легко увеличить путем добавления новых узлов. • Гибкость в хранении данных: в отличие от традиционных реляционных баз данных, Hadoop позволяет хранить данные в неструктурированном виде без предварительной обработки. О предстоящем выпуске SAS In-Memory Statistics for Hadoop было объявлено весной этого года, а в конце августа продукт поступил в продажу уже с расширенной функциональностью. Автор: Надежда Волкова Рубрики: Интеграция, ПО Ключевые слова: программирование, программирование, программное обеспечение, программное обеспечение, проектирование программного обеспечения, проектирование программного обеспечения, разработка программного обеспечения, разработка программного обеспечения, рынок программного обеспечения, рынок программного обеспечения, разработки , разработки , разработка программ, разработка программ, soft, soft, программы soft, программы soft
наверх
Для того, чтобы вставить ссылку на материал к себе на сайт надо:
|
|||||
А знаете ли Вы что?