Россия
Россия
Рассматривается задача восстановления регрессии в формулировке статистической теории обучения, то есть как задача минимизации эмпирического риска при заданных условиях. Показано, что нейронная сеть прямого распространения реализует принцип минимизации эмпирического риска при решении задачи регрессии. Исследуется возможность практического определения доверительного интервала для качества обучения нейронной сети. Предложен способ оценки верхней границы доверительного интервала качества нейросетевой модели для всей функциональной зависимости, к которой строится регрессия. Показана практическая работоспособность данного способа, а именно, что реальное значение качества обучения нейронной сети меньше предлагаемой верхней границы доверительного интервала. Описываемый способ может найти применение при решении практических задач, требующих гарантированную оценку качества нейросетевой регрессии. В качестве дальнейшего направления исследования предполагается уточнение методов оценки комбинаторной размерности нейронной сети, поскольку именно эта составляющая привносит наибольшую неточность при оценке границы доверительного интервала.
статистическая теория обучения, минимизация эмпирического риска, нейронные сети, многослойный персептрон, комбинаторная размерность, VC-размерность, качество обучения, доверительный интервал
1. Хайкин С. Нейронные сети: полный курс.: пер. с англ. М.: Изд. дом «Вильямс», 2006. 1104 с.
2. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. 448 с.
3. Du K.L., Swamy M.N.S. Neural Networks and Statistical Learning. London: Springer-Verlag, 2019. 998 p.
4. Stone M. Cross-validatory Choice and Assessment of Statistical Predictions // Journal of the Royal Statistical Society. 1974. № 36. P. 111-133.
5. Khaki S., Nettleton D. Conformal Prediction Intervals for Neural Networks Using Cross Validation. 2020. URL: https://arxiv.org/abs/2006.16941v1 (дата обращения: 15.03.2023).
6. Lower Upper Bound Estimation Method for Construction of Neural Network-Based Prediction Intervals / A. Khosravi [et al.] // IEEE Transactions on Neural Networks. 2011. № 22. P. 337-346.
7. Kivaranovic D., Johnson K.D., Leeb H. Adaptive, Distribution-Free Prediction Intervals for Deep Networks. 2020. URL: https://arxiv.org/pdf/1905.10634.pdf (дата обращения: 15.03.2023).
8. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. М.: «Горячая линия - Телеком», 2006. 452 с.
9. Поляк Б.Т. Введение в оптимизацию. М.: Наука, 1983. 384 с.
10. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов (статистические проблемы обучения). М.: Наука, 1974. 416 с.
11. Вапник В.Н., Червоненкис А.Я. О равномерной сходимости частот появления событий к их вероятностям // Теория вероятностей и ее применения. 1971. № 2. C. 264-279.
12. Vapnik V.N. Statistical Learning Theory. N.Y.: J. Wiley, 1998. 736 p.
13. Baum E.B., Haussler D. What Size Net Gives Valid Generalization? // Advances in Neural Information Processing Systems. 1988. № 1. P. 81-90.
14. Karpinski M., Macintyre A. Polynomial Bounds for VC Dimension of Sigmoidal and General Pfaffian Neural Networks // J. Computer Systems Science. 1997. № 54. P. 169-176.
