Scientific and analytical journal «Vestnik Saint-Petersburg university of State fire service of EMERCOM of Russia» Scientific and analytical journal «Vestnik Saint-Petersburg university of State fire service of EMERCOM of Russia» Научно-аналитический журнал "Вестник Санкт-Петербургского университета ГПС МЧС России" 2218-130X 65958 ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ INFORMATICS, COMPUTER ENGINEERING AND CONTROL ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ ESTABLISHINGING NEURALNETWORK REGRESSION QUALITY USING STATISTICAL LEARNING THORY ОПРЕДЕЛЕНИЕ КАЧЕСТВА НЕЙРОСЕТЕВОЙ РЕГРЕССИИ С ПОМОЩЬЮ СТАТИСТИЧЕСКОЙ ТЕОРИИ ОБУЧЕНИЯ Новиков Егор Анатольевич Novikov Egor A. egoredmc@gmail.com Литвинов Владислав Леонидович Litvinonv Vladislav L. vlad.litvinov61@gmail.com

кандидат технических наук;

candidate of technical sciences;

 Санкт-Петербургский государственный университет телекоммуникаций имени проф. М. А. Бонч-Бруевича The Bonch-Bruevich Saint-Petersburg State University of Telecommunications 07 07 2023 07 07 2023 2023 2 82 90 01 04 2023 20 04 2023 https://journals.igps.ru/en/nauka/article/65958/view

Рассматривается задача восстановления регрессии в формулировке статистической теории обучения, то есть как задача минимизации эмпирического риска при заданных условиях. Показано, что нейронная сеть прямого распространения реализует принцип минимизации эмпирического риска при решении задачи регрессии. Исследуется возможность практического определения доверительного интервала для качества обучения нейронной сети. Предложен способ оценки верхней границы доверительного интервала качества нейросетевой модели для всей функциональной зависимости, к которой строится регрессия. Показана практическая работоспособность данного способа, а именно, что реальное значение качества обучения нейронной сети меньше предлагаемой верхней границы доверительного интервала. Описываемый способ может найти применение при решении практических задач, требующих гарантированную оценку качества нейросетевой регрессии. В качестве дальнейшего направления исследования предполагается уточнение методов оценки комбинаторной размерности нейронной сети, поскольку именно эта составляющая привносит наибольшую неточность при оценке границы доверительного интервала.

Study considers regression estimation problem as it is posed in statistical learning theory, that is as empirical risk minimization problem. It is shown that feedforward neural network implements empirical risk minimization principle for regression estimation. The real worldpossibility of establishing confidence interval for neural network learning quality is being examined. Article proposes new method of establishing upper boundary of the neural network regression quality confidence interval for whole function. It is shown that real value of neural network learning quality is less than expected upper boundary of the neural network regression quality confidence interval, thus the functioning of proposed method is shown. Described way may be of great use in real world problems, which require assured estimation of neural network regression quality. The directions of further research lies in finding more precise estimations for neural network VC-dimension, since that part brings the most inaccuracy in upper boundary establishing process.

 статистическая теория обучения минимизация эмпирического риска нейронные сети многослойный персептрон комбинаторная размерность VC-размерность качество обучения доверительный интервал statistical learning theory empirical risk minimization neural network multilayer perceptron VC-dimension learning quality confidence interval

Хайкин С. Нейронные сети: полный курс.: пер. с англ. М.: Изд. дом «Вильямс», 2006. 1104 с. Hajkin S. Nejronnye seti: polnyj kurs.: per. s angl. M.: Izd. dom «Vil'yams», 2006. 1104 s. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. 448 с. Vapnik V.N. Vosstanovlenie zavisimostej po empiricheskim dannym. M.: Nauka, 1979. 448 s. Du K.L., Swamy M.N.S. Neural Networks and Statistical Learning. London: Springer-Verlag, 2019. 998 p. Du K.L., Swamy M.N.S. Neural Networks and Statistical Learning. London: Springer-Verlag, 2019. 998 p. Stone M. Cross-validatory Choice and Assessment of Statistical Predictions // Journal of the Royal Statistical Society. 1974. № 36. P. 111-133. Stone M. Cross-validatory Choice and Assessment of Statistical Predictions // Journal of the Royal Statistical Society. 1974. № 36. P. 111-133. Khaki S., Nettleton D. Conformal Prediction Intervals for Neural Networks Using Cross Validation. 2020. URL: https://arxiv.org/abs/2006.16941v1 (дата обращения: 15.03.2023). Khaki S., Nettleton D. Conformal Prediction Intervals for Neural Networks Using Cross Validation. 2020. URL: https://arxiv.org/abs/2006.16941v1 (data obrashcheniya: 15.03.2023). Lower Upper Bound Estimation Method for Construction of Neural Network-Based Prediction Intervals / A. Khosravi [et al.] // IEEE Transactions on Neural Networks. 2011. № 22. P. 337-346. Lower Upper Bound Estimation Method for Construction of Neural Network-Based Prediction Intervals / A. Khosravi [et al.] // IEEE Transactions on Neural Networks. 2011. № 22. P. 337-346. Kivaranovic D., Johnson K.D., Leeb H. Adaptive, Distribution-Free Prediction Intervals for Deep Networks. 2020. URL: https://arxiv.org/pdf/1905.10634.pdf (дата обращения: 15.03.2023). Kivaranovic D., Johnson K.D., Leeb H. Adaptive, Distribution-Free Prediction Intervals for Deep Networks. 2020. URL: https://arxiv.org/pdf/1905.10634.pdf (data obrashcheniya: 15.03.2023). Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. М.: «Горячая линия - Телеком», 2006. 452 с. Rutkovskaya D., Pilin'skij M., Rutkovskij L. Nejronnye seti, geneticheskie algoritmy i nechetkie sistemy. M.: «Goryachaya liniya - Telekom», 2006. 452 s. Поляк Б.Т. Введение в оптимизацию. М.: Наука, 1983. 384 с. Polyak B.T. Vvedenie v optimizaciyu. M.: Nauka, 1983. 384 s. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов (статистические проблемы обучения). М.: Наука, 1974. 416 с. Vapnik V.N., Chervonenkis A.Ya. Teoriya raspoznavaniya obrazov (statisticheskie problemy obucheniya). M.: Nauka, 1974. 416 s. Вапник В.Н., Червоненкис А.Я. О равномерной сходимости частот появления событий к их вероятностям // Теория вероятностей и ее применения. 1971. № 2. C. 264-279. Vapnik V.N., Chervonenkis A.Ya. O ravnomernoj skhodimosti chastot poyavleniya sobytij k ih veroyatnostyam // Teoriya veroyatnostej i ee primeneniya. 1971. № 2. C. 264-279. Vapnik V.N. Statistical Learning Theory. N.Y.: J. Wiley, 1998. 736 p. Vapnik V.N. Statistical Learning Theory. N.Y.: J. Wiley, 1998. 736 p. Baum E.B., Haussler D. What Size Net Gives Valid Generalization? // Advances in Neural Information Processing Systems. 1988. № 1. P. 81-90. Baum E.B., Haussler D. What Size Net Gives Valid Generalization? // Advances in Neural Information Processing Systems. 1988. № 1. P. 81-90. Karpinski M., Macintyre A. Polynomial Bounds for VC Dimension of Sigmoidal and General Pfaffian Neural Networks // J. Computer Systems Science. 1997. № 54. P. 169-176. Karpinski M., Macintyre A. Polynomial Bounds for VC Dimension of Sigmoidal and General Pfaffian Neural Networks // J. Computer Systems Science. 1997. № 54. P. 169-176.