Московский технический университет связи и информатики (кафедра «Безопасность телекоммуникаций», профессор)
Россия
Россия
Россия
Когда данные неполны, стандартные методы нечёткого интеллектуального анализа оказываются в ситуации, которую трудно назвать приемлемой: удаление объектов с пропусками теряет до трети выборки и вносит систематическое смещение при MAR-механизме, а импутирование средним разрушает ковариационную структуру и порождает правила с искусственно завышенной поддержкой. В работе предлагается иной выход – функция присутствия φ: U × A → [0, 1], встраивающая обработку пропусков прямо в формулу нечёткой поддержки. Объект с пропущенным атрибутом не выбрасывается и не «лечится»: он участвует в анализе с пониженным весом φ₀, а всё остальное делает t-норма. Доказан ряд теоретических свойств: антимонотонность поддержки для произвольной t-нормы, устойчивость к атрибутивному шуму через константу Липшица, инвариантность к монотонным масштабным преобразованиям, предельные случаи φ₀ → 0 и φ₀ → 1/kₐ. При MCAR-пропусках 30 % и значении φ₀ = 0,3 доля восстановленных закономерностей оказывается на 21–38 п.п. выше, чем при listwise deletion. Предложены три стратегии построения нечётких разбиений: равномерная, квантильная и оптимизационная. Детально исследована зависимость качества извлекаемых закономерностей от параметра φ₀ при различных механизмах пропусков. Экспериментальное сравнение на синтетических данных подтвердило, что φ₀ = 0,3 при MCAR-пропусках обеспечивает на 21–38 п.п. более высокую долю восстановленных закономерностей, чем стратегия listwise deletion, при уровне пропусков 30 %.
функция присутствия, неполные данные, нечёткий интеллектуальный анализ данных, нечёткая информационная система, механизмы пропусков MCAR/MAR/MNAR, нечёткие разбиения, антимонотонность нечёткой поддержки, t-норма, импутирование, listwise deletion
1. Fayyad U., Piatetsky-Shapiro G., Smyth P. From data mining to knowledge discovery in databases // AI Magazine. 1996. Vol. 17. № 3. P. 37–54.
2. Hong T.-P., Kuo C.-S., Chi S.-C. Mining association rules from quantitative data // Intelligent Data Analysis. 1999. Vol. 3. № 5. P. 363–376.
3. Fuzzy association rules: general model and applications / M. Delgado [et al.] // IEEE TFS. 2003. Vol. 11. № 2. P. 214–225.
4. Selecting fuzzy if-then rules for classification problems using genetic algorithms / H. Ishibuchi [et al.] // IEEE TFS. 1995. Vol. 3. № 3. P. 260–270.
5. Bezdek J.C. Pattern Recognition with Fuzzy Objective Function Algorithms. New York: Plenum, 1981. 256 p.
6. Little R.J.A., Rubin D.B. Statistical Analysis with Missing Data. 2nd ed. New York: Wiley, 2002. 408 p.
7. Saar-Tsechansky M., Provost F. Handling missing values when applying classification models // JMLR. 2007. Vol. 8. P. 1623–1657.
8. Buuren S.V. Flexible Imputation of Missing Data. 2nd ed. Boca Raton: CRC Press, 2018. 415 p.
9. Pattern classification with missing data: a review / P.J. García-Laencina [et al.] // Neural Computing & Applications. 2010. Vol. 19. № 2. P. 263–282.
10. Хань Дж., Камбер М., Пей Дж. Методы интеллектуального анализа данных. М.: Morgan Kaufmann, 2011.
11. Agrawal R., Srikant R. Fast algorithms for mining association rules // Proc. VLDB 1994. P. 487–499.
12. Salleb-Aouissi A., Vrain C., Nortet C. QuantMiner: A genetic algorithm for mining quantitative association rules // Proc. IJCAI-07. P. 1035–1040.
13. Genetic Fuzzy Systems / O. Cordon [et al.]. Singapore: World Scientific, 2001. 488 p.
14. Dubois D., Prade H. Possibility Theory. New York: Plenum Press, 1988. 263 p.
15. Pedrycz W., Gomide F. An Introduction to Fuzzy Sets. Cambridge: MIT Press, 1998. 465 p.
16. Klir G.J., Yuan B. Fuzzy Sets and Fuzzy Logic. Upper Saddle River: Prentice Hall, 1995. 574 p.
17. Zadeh L.A. Fuzzy sets // Information and Control. 1965. Vol. 8. № 3. P. 338–353.
18. Zimmermann H.-J. Fuzzy Set Theory and Its Applications. 4th ed. Boston: Kluwer, 2001. 514 p.
19. Kennedy J., Eberhart R. Particle swarm optimization // Proc. IEEE ICNN 1995. P. 1942–1948.
20. Штовба С.Д. Проектирование нечётких систем средствами MATLAB. М.: Горячая линия–Телеком, 2007. 288 с.
