NATURAL AND MAN-MADE RISKS (PHYSICO-MATHEMATICAL AND APPLIED ASPECTS) NATURAL AND MAN-MADE RISKS (PHYSICO-MATHEMATICAL AND APPLIED ASPECTS) ПРИРОДНЫЕ И ТЕХНОГЕННЫЕ РИСКИ (ФИЗИКО-МАТЕМАТИЧЕСКИЕ И ПРИКЛАДНЫЕ АСПЕКТЫ) 2307-7476 75149 10.61260/2307-7476-2024-2023-4-45-52 ИНЖЕНЕРНОЕ И ИНФОРМАЦИОННОЕ ОБЕСПЕЧЕНИЕ БЕЗОПАСНОСТИ ПРИ ЧРЕЗВЫЧАЙНЫХ СИТУАЦИЯХ ENGINEERING AND INFORMATION SECURITY IN EMERGENCY SITUATIONS ИНЖЕНЕРНОЕ И ИНФОРМАЦИОННОЕ ОБЕСПЕЧЕНИЕ БЕЗОПАСНОСТИ ПРИ ЧРЕЗВЫЧАЙНЫХ СИТУАЦИЯХ PROCESSING SOFTWARE BIG DATA ПРОГРАММНЫЕ СРЕДСТВА ОБРАБОТКИ БОЛЬШИХ ОБЪЕМОВ ДАННЫХ https://orcid.org/0000-0001-2735-4189 Лабинский Александр Юрьевич Labinsky Alexander Yu. labinsciy@yandex.ru

кандидат технических наук;

candidate of technical sciences;

 Санкт-Петербургский университет ГПС МЧС России Санкт-Петербург Россия Saint-Petersburg university of State fire service of EMERCOM of Russia Saint-Petersburg Russian Federation 14 02 2024 14 02 2024 2023 4 45 52 28 08 2023 10 11 2023 https://journals.igps.ru/en/nauka/article/75149/view

Рассмотрены возможности программных средств обработки больших объемов данных (Big Data). В центре внимания статьи находятся инструменты платформы Apache NiFi, входящие в набор Hadoop-инструментов для бизнес-экосистем. Подробно рассмотрены такие средства, как свободно распространяемый набор утилит и библиотек для разработки и выполнения распределенных программ (Hadoop Common), включающий в себя библиотеки управления системами файлов и сценарии по управлению распределённой обработкой данных и созданию инфраструктуры, необходимой для этой обработки. Рассмотрены инструменты платформы Apache NiFi, в том числе набор современных ETL-инструментов (Extract, Transform, Load) для разработки хранилища большого объема данных, а также основные понятия платформы Apache NiFi, спользующей концепцию «Flow Based Programming» (FBP). Произведена оценка эффективности параллельной обработки данных

The article considers possibilities of software tools for processing large volumes of data (Big Data). The article focuses on the Apache NiFi platform tools, which are part of the Hadoop suite of tools for business ecosystems. Tools such as Hadoop Common, which include libraries for managing the file systems supported by Hadoop, and scenarios for creating the necessary infrastructure and managing distributed data processing, are discussed in detail. The tools of the Apache NiFi platform are considered, including a set of modern ETL-tools (Extract, Transform, Load) for the development of a large data storage, as well as the basic concepts of the Apache NiFi platform, based on the concept of «Flow Based Programming» (FBP). The evaluation of the efficiency of parallel data processing has been made, which has shown that with the increase of the share of consecutive operations in the computer program of data processing the degree of acceleration of calculations decreases. The topic of the article is relevant, as large data sets are now used everywhere and their processing daily gives a significant positive effect.

 программные средства большие объемы данных параллельная обработка данных платформа Apache NiFi ETL-инструменты Hadoop-инструмены бизнес-экосистема концепция Flow Based Programming дистрибутив Hortonworks Data Platform software large amounts of data parallel data processing Apache NiFi platform ETL-tools Hadoop-tools business ecosystem Flow Based Programming concept Hortonworks Data Platform distribution

Баканов В.И. Динамика потоковых вычислений. М.: Труды НИУ ВШЭ, 2021. Bakanov V.I. Dinamika potokovyh vychislenij. M.: Trudy NIU VSHE, 2021. Лэм Чак. Hadoop в действии. ДМК Пресс, 2012. Lem Chak. Hadoop v dejstvii. DMK Press, 2012. Уайт Том. Hadoop. Подробное руководство. СПб.: Питер, 2013. Uajt Tom. Hadoop. Podrobnoe rukovodstvo. SPb.: Piter, 2013. Vance Ashlee. Hadoop, a Free Software Program, Finds Uses Beyond Search. N.Y.: The New York Times, 2009. Vance Ashlee. Hadoop, a Free Software Program, Finds Uses Beyond Search. N.Y.: The New York Times, 2009. Shvachko Konstantin. Apache Hadoop. Coriolis, 2011. Shvachko Konstantin. Apache Hadoop. Coriolis, 2011. Sharp J.A. Data Flow Computing: Theory and Practice. Intellect Limited, 1992. Sharp J.A. Data Flow Computing: Theory and Practice. Intellect Limited, 1992. Carkci M. Dataflow and Reactive Programming Systems: A Practical Guide. CreateSpace Independent Publishing Platform, 2014. Carkci M. Dataflow and Reactive Programming Systems: A Practical Guide. CreateSpace Independent Publishing Platform, 2014. Wesley M. Johnston, J.R. Paul Hanna, Richard J. Millar. Advances in Dataflow Programming Languages. N.Y. and London, 2015. Wesley M. Johnston, J.R. Paul Hanna, Richard J. Millar. Advances in Dataflow Programming Languages. N.Y. and London, 2015. David Loshin. ETL (Extract, Transform, Load) // Business Intelligence and Analytics. Morgan Kaufmann, 2012. David Loshin. ETL (Extract, Transform, Load) // Business Intelligence and Analytics. Morgan Kaufmann, 2012. David Haertzen. ETL Tools // Business Intelligence and Analytics. Technics Publications, 2012. David Haertzen. ETL Tools // Business Intelligence and Analytics. Technics Publications, 2012. Ralph Kimball, Joe Caserta. The Data Warehouse ETL Toolkit: Practical Techniques for Extracting, Cleaning, Conforming, and Delivering Data. John Wiley & Sons, 2004. Ralph Kimball, Joe Caserta. The Data Warehouse ETL Toolkit: Practical Techniques for Extracting, Cleaning, Conforming, and Delivering Data. John Wiley & Sons, 2004.