MNIST (база данных)

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску

База данных MNIST (сокращение от «Modified National Institute of Standards and Technology») — объёмная база данных образцов рукописного написания цифр. База данных является стандартом, предложенным Национальным институтом стандартов и технологий США с целью калибрации и сопоставления методов распознавания изображений с помощью машинного обучения в первую очередь на основе нейронных сетей[1][2]. Данные состоят из заранее подготовленных примеров изображений, на основе которых проводится обучение и тестирование систем[3][4]. База данных была создана после переработки оригинального набора чёрно-белых образцов размером 20x20 пикселей NIST. Создатели базы данных NIST, в свою очередь, использовали набор образцов из Бюро переписи населения США, к которому были добавлены ещё тестовые образцы, написанные студентами американских университетов[5]. Образцы из набора NIST были нормализированы, прошли сглаживание и приведены к серому полутоновому изображению размером 28x28 пикселей[5].

База данных MNIST содержит 60000 изображений для обучения и 10000 изображений для тестирования[6]. Половина образцов для обучения и тестирования были взяты из набора NIST для обучения, а другая половина — из набора NIST для тестирования[7].

Производились многочисленные попытки достичь минимальной ошибки после обучения по базе данных MNIST, которые обсуждались в научной литературе. Рекордные результаты указывались в публикациях, посвящённых использованию свёрточных нейронных сетей, уровень ошибки был доведён до 0,23 %[8]. Сами создатели базы данных предусмотрели несколько методов тестирования[5]. В оригинальной работе указывается, что использование метода опорных векторов позволяет достичь уровня ошибки 0,8 %[9].

Качество результата и развитие подходов[править | править код]

В некоторых работах отмечают высокие результаты систем, построенных на ансамблях из нескольких нейронных сетей; при этом качество распознавания цифр для базы MNIST оказывается сравнимым с уровнем человека, а для других задач распознавания, в частности, для дорожных знаков — даже в два раза лучше[8].

На оригинальных страницах создателей[5] отмечаются ошибки в 12 % при использовании простых линейных классификаторов без предварительной обработки[9].

В 2004 году система LIRA, использующая трёхслойный перцептрон Розенблатта, получила уровень ошибки 0,42 %[10].

Проводились исследование на обучении по системе MNIST с использованием случайных искажений. В качестве искажений вводились аффинные или упругие преобразования[5]. Иногда такие системы достигали хороших показателей, в частности имеются публикации про уровень ошибки 0,39 %[11].

В 2011 был достигнут уровень ошибок 0,27 % при использовании нейронных сетей[12]. В 2013 появились публикации о достижении ошибки 0,21 %, используя регуляризацию нейронных сетей (через разрывы соединений DropConnect)[13].

Позднее применение одиночной свёрточной нейронной сети позволило улучшить качество до уровня ошибки 0,31 %[14]. Самый лучший результат на одиночной свёрточной нейронной сети показала система, полученная после 74 эпох обучения — 0,27 %[15]. Однако ансамбль из пяти свёрточных нейронных сетей позволил добиться 0,21 % уровня ошибок[16][17]. В 2018 году исследователи, использующие Random Multimodel Deep Learning (RMDL), сообщили об ошибке в размере 0,18 процента, улучшив предыдущий наилучший результат: новый ансамбль, метод глубокого обучения для классификации [18].

Сопоставление систем[править | править код]

В таблице собраны примеры результатов машинного обучения в различных системах классификации изображений:[19]

Тип Структура Искажения Предварительная обработка Ошибка (%)
Линейный классификатор Одноуровневый перцептрон Нет Нет 12[8]
Линейный классификатор Попарный линейный классификатор Нет Выравнивание 7.6[9]
Метод k ближайших соседей K-NN с нелинейной деформацией (P2DHMDM) Нет Shiftable edges 0.52[20]
Gradient boosting Обработка остатков на базе признаков Хаара Нет Признаки Хаара 0.87[21]
Нелинейный классификатор 40 PCA + квадратичный классификатор Нет Нет 3.3[9]
Метод опорных векторов Виртуальна система опорных векторов, deg-9 poly, 2-pixel jittered Нет Выравнивание 0.56[22]
Нейронная сеть 2-уровневая сеть 784-800-10 Нет Нет 1.6[23]
Нейронная сеть 2-уровневая сеть 784-800-10 Упругие деформации Нет 0.7[23]
Глубокая нейронная сеть 6-уровневая сеть 784-2500-2000-1500-1000-500-10 Упругие деформации Нет 0.35[24]
Свёрточная нейронная сеть 6-уровневая сеть 784-40-80-500-1000-2000-10 Нет Расширение данных для обучения 0.31[14]
Свёрточная нейронная сеть 6-уровневая сеть 784-50-100-500-1000-10-10 Нет Расширение данных для обучения 0.27[15]
Свёрточная нейронная сеть Ансамбль из 35 CNN-сетей, 1-20-P-40-P-150-10 Упругие деформации С нормализацией 0.23[8]
Свёрточная нейронная сеть Ансамбль из 5 CNN-сетей, 6-уровней 784-50-100-500-1000-10-10 Нет Расширение данных для обучения 0.21[16]
Случайное мультимодельное глубокое обучение (RMDL) 30 моделей случайного глубокого отскакивания (RDL) (10 CNN, 10 RNN и 10 DNN) Нет Нет 0.18[18]

См. также[править | править код]

Примечания[править | править код]

  1. Support vector machines speed pattern recognition - Vision Systems Design. Vision Systems Design. Дата обращения 17 августа 2013.
  2. Gangaputra, Sachin Handwritten digit database. Дата обращения 17 августа 2013.
  3. Qiao, Yu THE MNIST DATABASE of handwritten digits (2007). Дата обращения 18 августа 2013.
  4. Platt, John C. Using analytic QP and sparseness to speed training of support vector machines (англ.) // Advances in Neural Information Processing Systems : journal. — 1999. — P. 557—563. Архивировано 4 марта 2016 года.
  5. 1 2 3 4 5 LeCun, Yann MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges. Дата обращения 17 августа 2013.
  6. Kussul, Ernst; Tatiana Baidyk. Improved method of handwritten digit recognition tested on MNIST database (англ.) // Image and Vision Computing : journal. — 2004. — Vol. 22, no. 12. — P. 971—981. — DOI:10.1016/j.imavis.2004.03.008.
  7. Zhang, Bin; Sargur N. Srihari. Fast k -Nearest Neighbor Classification Using Cluster-Based Trees (англ.) // IEEE Transactions on Pattern Analysis and Machine Intelligence (англ.) : journal. — 2004. — Vol. 26, no. 4. — P. 525—528. — DOI:10.1109/TPAMI.2004.1265868. — PMID 15382657.
  8. 1 2 3 4 Cires¸an, Dan; Ueli Meier; Jürgen Schmidhuber. Multi-column deep neural networks for image classification (англ.) // 2012 IEEE Conference on Computer Vision and Pattern Recognition : journal. — 2012. — P. 3642—3649. — ISBN 978-1-4673-1228-8. — DOI:10.1109/CVPR.2012.6248110. — arXiv:1202.2745.
  9. 1 2 3 4 LeCun, Yann; Léon Bottou; Yoshua Bengio; Patrick Haffner. Gradient-Based Learning Applied to Document Recognition (англ.) // Proceedings of the IEEE 86 : journal. — 1998. — Vol. 86, no. 11. — P. 2278—2324. — DOI:10.1109/5.726791.
  10. Kussul, Ernst; Tatiana Baidyk. Improved method of handwritten digit recognition tested on MNIST database (англ.) // Image and Vision Computing : journal. — 2004. — Vol. 22. — P. 971—981. — DOI:10.1016/j.imavis.2004.03.008. Архивировано 21 сентября 2013 года.
  11. Ranzato, Marc’Aurelio; Christopher Poultney; Sumit Chopra; Yann LeCun. Efficient Learning of Sparse Representations with an Energy-Based Model (англ.) // Advances in Neural Information Processing Systems : journal. — 2006. — Vol. 19. — P. 1137—1144.
  12. Ciresan, Dan Claudiu; Ueli Meier; Luca Maria Gambardella; Jürgen Schmidhuber. Convolutional neural network committees for handwritten character classification (англ.) // 2011 International Conference on Document Analysis and Recognition (ICDAR) : journal. — 2011. — P. 1135—1139. — DOI:10.1109/ICDAR.2011.229. Архивировано 22 февраля 2016 года.
  13. Wan, Li (2013). "Regularization of Neural Network using DropConnect" in International Conference on Machine Learning(ICML).. 
  14. 1 2 Romanuke, Vadim The single convolutional neural network best performance in 18 epochs on the expanded training data at Parallel Computing Center, Khmelnitskiy, Ukraine. Дата обращения 16 ноября 2016.
  15. 1 2 Romanuke, Vadim Parallel Computing Center (Khmelnitskiy, Ukraine) gives a single convolutional neural network performing on MNIST at 0.27 percent error rate.. Дата обращения 24 ноября 2016.
  16. 1 2 Romanuke, Vadim Parallel Computing Center (Khmelnitskiy, Ukraine) represents an ensemble of 5 convolutional neural networks which performs on MNIST at 0.21 percent error rate.. Дата обращения 24 ноября 2016.
  17. Romanuke, Vadim. Training data expansion and boosting of convolutional neural networks for reducing the MNIST dataset error rate (англ.) // Research Bulletin of NTUU “Kyiv Polytechnic Institute” : journal. — 2016. — Vol. 6. — P. 29—34. — DOI:10.20535/1810-0546.2016.6.84115.
  18. 1 2 Kowsari, Kamran RMDL: Random Multimodel Deep Learning for Classification (3 мая 2018). Дата обращения 10 мая 2018.
  19. Le Cunn, THE MNIST DATABASE of handwritten Digits
  20. Keysers, Daniel; Thomas Deselaers; Christian Gollan; Hermann Ney. Deformation models for image recognition (неопр.) // EEE Transactions on Pattern Analysis and Machine Intelligence. — 2007. — August (т. 29, № 8). — С. 1422—1435.
  21. Kégl, Balázs; Róbert Busa-Fekete. Boosting products of base classifiers (неопр.) // Proceedings of the 26th Annual International Conference on Machine Learning. — 2009. — С. 497—504.
  22. DeCoste and Scholkopf, MLJ 2002
  23. 1 2 Patrice Y. Simard; Dave Steinkraus; John C. Platt. Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis (англ.) // Document Analysis and Recognition, 2003. Proceedings. Seventh International Conference on : journal. — IEEE, 2003. — DOI:10.1109/ICDAR.2003.1227801.
  24. Ciresan, Claudiu Dan; Dan, Ueli Meier, Luca Maria Gambardella, and Juergen Schmidhuber. Deep Big Simple Neural Nets Excel on Handwritten Digit Recognition (англ.) // Neural Computation : journal. — 2010. — December (vol. 22, no. 12). — DOI:10.1162/NECO_a_00052. — arXiv:1003.0358.

Литература[править | править код]

Ссылки[править | править код]