Modeling of systems and processes Modeling of systems and processes Моделирование систем и процессов 2219-0767 120316 10.12737/2219-0767-2026-19-1-7-13 Технические науки Технические науки Software implementation of a deterministic approach to analyzing large files Программная реализация детерминированного подхода к анализу файлов большого размера Акинин Артем Анатольевич Akinin Artem Anatolyevich Акинина Юлия Сергеевна Akinina Yuliya Sergeevna Колосов Р. Г. Kolosov R. G. МИРЭА - Российский технологический университет Россия МИРЭА - Российский технологический университет Russian Federation Воронежский государственный технический университет Voronezh State Technical University 24 04 2026 24 04 2026 19 1 7 13 08 04 2026 https://naukaru.ru/en/nauka/article/120316/view

в данной статье предлагается оригинальный детерминированный подход к анализу текстовых файлов, позволяющий решить проблему резкого замедления суммарной скорости обработки данных при увеличении размера файлов свыше 500 Мб. Рассмотрены два варианта такого подхода: непосредственный анализ файла, отображенного на виртуальное адресное пространство процесса с помощью арифметики указателей (как с обычным содержимым памяти) и подход на основе поочередного копирования блоков файла, отображенного в память, в дополнительный буфер оперативной памяти и дальнейший анализ данных уже в буфере. Каждый из рассмотренных вариантов подхода был программно реализован и получены временные характеристики его выполнения на одном и том же наборе данных. Анализ полученных результатов однозначно свидетельствует о преимуществе подхода с использованием проекции файла в память и дополнительной буферизацией при анализе текстовых файлов размером более 500 Мб.

this article offers an original deterministic approach to analyzing text files, which allows solving the problem of a sharp slowdown in the total data processing speed with an increase in file size over 500 MB. Two variants of this approach are considered: direct analysis of the file mapped to the virtual address space of the process using pointer arithmetic (as with the usual memory contents) and an approach based on alternating copying of blocks of the file mapped to memory into an additional RAM buffer and further analysis of the data already in the buffer. Each of the considered variants of the approach was programmatically implemented and the time characteristics of its execution on the same data set were obtained. The analysis of the results clearly indicates the advantage of using a file projection into memory and additional buffering when analyzing text files larger than 500 MB.

 лог-файл проецируемые в память файлы указатель время выполнения арифметика указателей анализ текстовых файлов буферизация цикл считывания данных разработка прототипа кеширование данных адресное пространство процесса log file files projected into memory pointer execution time pointer arithmetic text file analysis buffering data read cycle prototype development data caching process address space.

Гарифуллин М.Ф. Обработка текстовой и графической информации / М.Ф. Гарифуллин. - М.: ТЕХНОСФЕРА, 2019. – 174 с. Garifullin M.F. Processing of text and graphic information / M.F. Garifullin, Moscow: TECHNOSPHERE, 2019– 174 p. Иванов, Д. А. Анализ эффективности алгоритмов поиска текстовой информации в неоднородных форматах файлов / Д. А. Иванов, Е. А. Иванишин, Д. А. Шевцов // Научная мысль. – 2025. – Т. 25, № 4-1(56). – С. 54-56. – EDN TDMBOK. Ivanov, D. A. Analysis of the effectiveness of algorithms for searching text information in heterogeneous file formats / D. A. Ivanov, E. A. Ivanishin, D. A. Shevtsov // Scientific thought. – 2025. – Vol. 25, No. 4-1(56). – pp. 54-56. – EDN TDMBOK. Коновалов, Г. Г. Оптимизация процесса анализа данных с использованием регулярных выражений / Г. Г. Коновалов // Тенденции развития науки и образования. – 2023. – № 104-14. – С. 50-53. – DOI 10.18411/trnio-12-2023-775. – EDN CVMKWH. Konovalov, G. G. Optimization of the data analysis process using regular expressions / G. G. Konovalov // Trends in the development of science and education. – 2023. – No. 104-14. – pp. 50-53. – DOI 10.18411/trnio-12-2023-775 . – EDN CVMKWH. Никехин А.А. Основы C++ для моделирования и расчетов: учеб. пособие / А.А. Никехин. - СПб: НИУ ИТМО, 2014. – 106 с. Nikekhin A.A. Fundamentals of C++ for modeling and calculations: textbook. the manual / A.A. Nikekhin. - St. Petersburg: NRU ITMO, 2014. 106 p. Прата С. Язык программирования C++. Лекции и упражнения / С. Прата. — М.: Вильямс, 2012. — 1248 с. Prata S. The C++ programming language. Lectures and exercises / S. Prata. — M. : Williams, 2012. — 1248 p. Рихтер Дж. Windows для профессионалов. Создание эффективных Win32-разрядных приложений с учетом специфики 64-разрядной версии Windows / Дж. Рихтер. – СПб.: Питер, 2001. – 752 c. Richter J. Windows for professionals. Creation of effective Win32-bit applications taking into account the specifics of the 64-bit version of Windows / J. Richter. - St. Petersburg: Peter, 2001. – 752 p. Семенов, М. А. Программный проект по синтаксическому анализу текстовых файлов средствами языка с++ / М. А. Семенов, Р. С. Зарипова // Информационные технологии в строительных, социальных и экономических системах. – 2020. – № 3(21). – С. 52-54. – EDN TTIIMK. Semenov, M. A. A software project for the syntactic analysis of text files using the c++ language / M. A. Semenov, R. S. Zaripova // Information technologies in construction, social and economic systems. – 2020. – № 3(21). – Pp. 52-54. – EDN TTIIMK. Стивенс У. Р. Unix. Профессиональное программирование / У. Р. Стивенс, Ст. Раго. – СПб.: Питер, 2025. – 944 c. Stevens, W. R. Unix. Professional programming / W. R. Stevens, St. Rago. – St. Petersburg: Peter, 2025. – 944 p. Мартин Р. Чистая архитектура. Искусство разработки программного обеспечения / Р. Мартин. – СПб.: Питер, 2021. – 352 c. Martin R. Pure architecture. The Art of Software Development / R. Martin. St. Petersburg: Pi-ter, 2021. 352 p. Гулаков В. К. Структуры и алгоритмы обработки многомерных данных: монография / В. К. Гулаков, А. О. Трубаков, Е. О. Трубаков. – СПб.: Лань, 2021. — 356 с. Gulakov V. K. Structures and algorithms of multidimensional data processing: a monograph / V. K. Gulakov, A. O. Trubakov, E. O. Trubakov. St. Petersburg: Lan Publ., 2021, 356 p. Крошемор М. Алгоритмы обработки текста: 125 задач с решениями / М. Крошемор, Т. Лекрок, В. Риттер. – М.: ДМК Пресс, 2021. – 312 с. Kroshemor M. Algorithms of text processing: 125 problems with solutions / M. Kroshemor, T. Lecroc, V. Ritter. – M.: DMK Press, 2021. – 312 p. Уоррен Г. Алгоритмические трюки для программистов. – М.: Вильямс, 2004. — 288с. Warren G. Algorithmic tricks for software. Moscow: Williams, 2004. — 288c. Макконнелл С. Совершенный код / С. Макконнелл. — М. : Русская редакция, 2010. — 896 стр. McConnell S. Perfect code / S. McConnell. — M.: Russian edition, 2010. — 896 p. Хортон А. Visual C++ 2005: базовый курс / А. Хортон. - М.: Вильямс, 2007. – 1152 с. Horton A. Visual C++ 2005: a basic course / A. Horton. Moscow: Williams, 2007. – 1152 p. Хогенсон Г. С++/CLI: язык Visual C++ для среды .NET / Г. Хогенсон. – М.: Вильямс, 2007. – 464 с. Hogenson G. C++/CLI: Visual C++ language for the environment .NET / G. Hogenson. – M.: Williams, 2007. – 464 p. Шарунов, Р. Д. Анализ документов средствами различных инструментов искусственного интеллекта / Р. Д. Шарунов, О. А. Артеменко // Наукоемкие технологии в приборо- и машиностроении и развитие инновационной деятельности в вузе : Материалы Всероссийской научно-технической конференции: в 2 т., Калуга, 19–21 ноября 2024 года. – Москва: федеральное государственное бюджетное образовательное учреждение высшего образования "Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет)", 2025. – С. 284-288. – EDN QDDHPK. Shakhomirova, N. E. Proposals for modification of the system for viewing and analyzing diagnostic information based on the use of a hybrid database / N. E. Shakhomirova, A.V. Shakhomirov // System analysis and Logistics. – 2024. – No. S5(43). – pp. 60-66. – DOI 10.31799/2077-5687-2024-5-60-66. – EDN AHFCYY. Шахомирова, Н. Е. Предложения по модификации системы просмотра и анализа диагностической информации на основе применения гибридной базы данных / Н. Е. Шахомирова, А. В. Шахомиров // Системный анализ и логистика. – 2024. – № S5(43). – С. 60-66. – DOI 10.31799/2077-5687-2024-5-60-66. – EDN AHFCYY. Sharunov, R. D. Analysis of documents by means of various artificial intelligence tools / R. D. Sharunov, O. A. Artemenko // High-tech technologies in instrument and mechanical engineering and the development of innovation in higher education institutions : Proceedings of the All-Russian Scientific and Technical Conference: in 2 volumes, Kaluga, November 19-21, 2024. Moscow: Federal State Budgetary Educational Institution of Higher Education "Bauman Moscow State Technical University (National Research University)", 2025. pp. 284-288. – EDN QDDHPK.