«Инфосистемы Джет» построила Data Lake для НЛМК

(Официальное сообщение компании (пресс-релиз))

Данный материал размещен пользователем сайта. Мнение редакции может не совпадать с мнением автора
Эксперты «Инфосистемы Джет» разработали для мирового лидера сталелитейной промышленности систему анализа данных и моделирования (САДиМ), которая отвечает за доступность и качество данных, а также предоставляет инструментарий для вычислений и анализа. Внедренная система уже сейчас позволяет группе НЛМК эффективнее вести разработку цифровых сервисов и моделей машинного обучения для оптимизации производственных процессов.

В цехах и на агрегатах предприятия эксплуатируются десятки систем, которые накапливают и обрабатывают информацию о производственных и технологических процессах. Кроме того, в помещениях установлены десятки тысяч датчиков, которые непрерывно собирают и передают данные. Подразделению Data Science НЛМК требовался удобный инструмент для работы с получаемыми данными под разрабатываемые модели машинного обучения (ML).

Для решения задачи Центр программных решений ИТ-компании «Инфосистемы Джет» совместно с командой НЛМК создали Data Lake емкостью 300 терабайт на базе отечественного дистрибутива распределенной платформы хранения Hadoop. Для решения задач сбора, передачи, трансформации и накопления данных были использованы такие сервисы, как Apache Kafka, Apache NiFi, Apache Hive.

В рамках проекта специалисты запустили регулярную загрузку данных в Data Lake из более чем 70 источников (датчиков, а также MES и АСУ ТП), загрузили исторические данные за последние несколько лет работы предприятия и разработали карты данных технологических и производственных процессов отдельных цехов.

В рамках проекта команда «Инфосистемы Джет» разработала для НЛМК модель унифицированной витрины данных, а также процессы загрузки в неё, реализовала управление мета-данными средствами Apache Atlas (тэгирование, поиск и т.д.), настроила централизованную ролевую модель и её интеграцию с Active Directory. Это дало возможность дата-сайнтистам НЛМК оперативнее получать в Data Lake доступ к нужным им данным.

Для контроля работы Data Lake был также настроен комплексный мониторинг состояния сервисов системы в Zabbix, а также разработаны автотесты для контроля целостности и полноты данных. Для особо важных и уязвимых данных была создана возможность резервного копирования: то есть, в случае непреднамеренного уничтожения данных пользователем их можно будет восстановить.

«Создание озера данных, которое действительно приносит экономическую пользу заказчику – это непростая задача как с технической, так и с организационной точки зрения. И тут дело не только в железе, интеграции и программировании. Очень важна готовность производства собирать и передавать качественные данные, а потом использовать результаты анализа этих данных для принятия производственных решений. В сотрудничестве с коллегами из НЛМК, которые со стороны всех подразделений проявили высокий профессионализм и заинтересованность, нам удалось оперативно создать решение, сделавшее производство действительно цифровым», — подчеркивает Владимир Молодых, директор по разработке и внедрению программного обеспечения «Инфосистемы Джет».

Автор: Кузнецов Никита Сергеевич

Рубрики: Интеграция, ПО

наверх
 
 
     

А знаете ли Вы что?

     
 

MSKIT.RU: последние новости Москвы и Центра

16.09.2019 EOS for SharePoint в ГК «Пионер»: 500 пользователей работают с документами в едином информационном пространстве

11.09.2019 Восемь процентов новых авто в Европе оснащены функцией автономного вождения

06.09.2019 ВЭФ-2019: конец эпохи свободного капитализма в цифровой торговле

05.09.2019 Лебедь, Рак и Щука, или как на ВЭФ-2019 искали ответственных за инновации

04.09.2019 Расходы на ИИ в Европе к 2023 году превысят 20 миллиардов долларов

03.09.2019 В российском e-commerce насчитали190 миллионов заказов

22.08.2019 Есть ли жизнь на границе сети?

21.08.2019 Контакт с IoT

NNIT.RU: последние новости Нижнего Новгорода

16.09.2019 EOS for SharePoint в ГК «Пионер»: 500 пользователей работают с документами в едином информационном пространстве

11.09.2019 Восемь процентов новых авто в Европе оснащены функцией автономного вождения

06.09.2019 ВЭФ-2019: конец эпохи свободного капитализма в цифровой торговле

05.09.2019 Лебедь, Рак и Щука, или как на ВЭФ-2019 искали ответственных за инновации

04.09.2019 Расходы на ИИ в Европе к 2023 году превысят 20 миллиардов долларов

03.09.2019 В российском e-commerce насчитали190 миллионов заказов

22.08.2019 Есть ли жизнь на границе сети?

21.08.2019 Контакт с IoT

ITSZ.RU: последние новости Петербурга

16.09.2019 EOS for SharePoint в ГК «Пионер»: 500 пользователей работают с документами в едином информационном пространстве

11.09.2019 Восемь процентов новых авто в Европе оснащены функцией автономного вождения

06.09.2019 ВЭФ-2019: конец эпохи свободного капитализма в цифровой торговле

05.09.2019 Лебедь, Рак и Щука, или как на ВЭФ-2019 искали ответственных за инновации

04.09.2019 Расходы на ИИ в Европе к 2023 году превысят 20 миллиардов долларов

03.09.2019 В российском e-commerce насчитали190 миллионов заказов

21.08.2019 Контакт с IoT

12.08.2019 Нейросеть поможет «Лиза Алерт»