MNIST (база данных)

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

База данных MNIST (сокращение от "Mixed National Institute of Standards and Technology") - объёмная база данных образцов рукописного написания цифр. База данных является стандартом, предложенным Национальным институтом стандартов и технологий США с целью калибрации и сопоставления методов распознавания изображений с помощью машинного обучения,в первую очередь на основе нейронных сетей. [1][2] Данные состоят из заранее подготовленных примеров изображений, на основе которых проводится обучение и тестирование систем.[3][4] База данных была создана после переработки оригинального набора черно-белых образцов размером 20x20 пикселей NIST. Создатели базы данных NIST, в свою очередь, использовали набор образцов из Бюро переписи населения США, к которому были добавлены ещё тестовые образцы, написанные студентами американских университетов. [5] Образцы из набора from NIST были нормализированы, прошли сглаживание и приведены к серому полутоновому изображению размером 28x28 пикселей.[5]

База данных MNIST содержит 60000 изображений для обучения и 10000 изображений для тестирования.[6] Половина образцов для обучения и тестирования были взяты из набора NIST для обучения, а другая половина - из набора NIST для тестирования.[7]

Производились многочисленные попытки достичь минимальной ошибки после обучения по базе данных MNIST, которые обсуждались в научной литературе. Рекордные результаты указывались в публикациях, посвящённых использованию свёрточных нейронных сетей, уровень ошибки был доведён до 0.23%.[8] Сами создатели базы данных предусмотрели несколько методов тестирования.[5] В оригинальной работе указывается, что использование метода опорных векторов позволяет достичь уровня ошибки 0.8%.[9]

Качество результата и развитие подходов[править | править вики-текст]

В некоторых работах отмечают высокие результаты от систем, построенных из ансамблей из нескольких нейронных сетей, утверждая даже что результаты оказываются вдвое лучше, чем распознавание человеком.[8]

На оригинальных страницах создателей [5] отмечаются ошибки 12% при использовании простых линейных классификаторов без предварительной обработки.[9]

В 2004 году система LIRA, использующая трёхслойный перцептрон Розенблатта, получила уровень ошибки 0.42%.[10]

Проводились исследование на обучении по системе MNIST с использованием случайных искажений. В качестве искажений вводились аффинные или упругие преобразования. [5] Иногда такие системы достигали хороших показателей, в частности имеются публикации про уровень ошибки 0.39%.[11]

В 2011 был улучшен уровень ошибок 0.27% при использовании нейронных сетей.[12] В 2013 появились публикации о достижении ошибки 0.21, используя регуляризацию нейронных сетей (через разрывы соединений DropConnect).[13]

Позднее применерие одиночной свёрточной нейронной сети позволило улучшить качество до уровня ошибки 0.31%.[14] Самый лучший результат на одиночной свёрточной нейронной сетипоказала система, полученная после 74 эпох обучения - 0.27%.[15] Однако ансамбль из пяти свёрточных нейронных сетей позволил добиться 0.21% уровня ошибок.[16]

Сопоставление систем[править | править вики-текст]

В таблице собраны примеры результатов машинного обучения в различных системах классификации изображений: [17]

Тип Структура Искажения Предварительная обработка Ошибка (%)
Линейный классификатор Одноуровневый перцептрон Нет Нет 12 [8]
Линейный классификатор попарный линейный классификатор Нет Выравнивание 7.6[9]
Метод k ближайших соседей K-NN с нелинейной деформацией (P2DHMDM) Нет Shiftable edges 0.52[18]
Gradient boosting Обработка остатков на базе признаков Хаара Нет Признаки Хаара 0.87[19]
Нелинейный классификатор 40 PCA + квадратичный классификатор Нет Нет 3.3[9]
Метод опорных векторов Виртуальна система опорных векторов, deg-9 poly, 2-pixel jittered Нет Выравнивание 0.56[20]
Нейронная сеть 2-уровневая сеть 784-800-10 Нет Нет 1.6[21]
Нейронная сеть 2-уровневая сеть 784-800-10 Упругие деформации Нет 0.7[21]
Глубокая нейронная сеть 6-уровневая сеть 784-2500-2000-1500-1000-500-10 Упругие деформации Нет 0.35[22]
Свёрточная нейронная сеть 6-уровневая сеть 784-40-80-500-1000-2000-10 Нет Расширение данных для обучения 0.31[14]
Свёрточная нейронная сеть 6-уровневая сеть 784-50-100-500-1000-10-10 Нет Расширение данных для обучения 0.27[15]
Свёрточная нейронная сеть Ансамбль из 35 CNN-сетей, 1-20-P-40-P-150-10 Упругие деформации С нормализацией 0.23[8]
Свёрточная нейронная сеть Ансамбль из 5 CNN-сетей, 6-уровней 784-50-100-500-1000-10-10 Нет Расширение данных для обучения 0.21[16]

См. также[править | править вики-текст]

Примечания[править | править вики-текст]

  1. Support vector machines speed pattern recognition - Vision Systems Design. Vision Systems Design. Проверено 17 августа 2013.
  2. Gangaputra, Sachin Handwritten digit database. Проверено 17 августа 2013.
  3. Qiao, Yu THE MNIST DATABASE of handwritten digits (2007). Проверено 18 августа 2013.
  4. Platt, John C. (1999). «Using analytic QP and sparseness to speed training of support vector machines». Advances in Neural Information Processing Systems: 557–563. Проверено 18 August 2013.
  5. 1 2 3 4 5 LeCun, Yann MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges. Проверено 17 августа 2013.
  6. Kussul, Ernst (2004). «Improved method of handwritten digit recognition tested on MNIST database». Image and Vision Computing 22 (12): 971–981. DOI:10.1016/j.imavis.2004.03.008.
  7. Zhang, Bin (2004). «Fast k -Nearest Neighbor Classification Using Cluster-Based Trees». IEEE Transactions on Pattern Analysis and Machine Intelligence 26 (4): 525–528. DOI:10.1109/TPAMI.2004.1265868. PMID 15382657. Проверено 18 August 2013.
  8. 1 2 3 4 Cires¸an, Dan (2012). «Multi-column deep neural networks for image classification». 2012 IEEE Conference on Computer Vision and Pattern Recognition: 3642–3649. arXiv:1202.2745. DOI:10.1109/CVPR.2012.6248110.
  9. 1 2 3 4 LeCun, Yann (1998). «Gradient-Based Learning Applied to Document Recognition». Proceedings of the IEEE 86 86 (11): 2278–2324. DOI:10.1109/5.726791. Проверено 18 August 2013.
  10. Kussul, Ernst (2004). «Improved method of handwritten digit recognition tested on MNIST database». Image and Vision Computing 22: 971–981. DOI:10.1016/j.imavis.2004.03.008. Проверено 20 September 2013.
  11. Ranzato, Marc’Aurelio (2006). «Efficient Learning of Sparse Representations with an Energy-Based Model». Advances in Neural Information Processing Systems 19: 1137–1144. Проверено 20 September 2013.
  12. Ciresan, Dan Claudiu (2011). «Convolutional neural network committees for handwritten character classification». 2011 International Conference on Document Analysis and Recognition (ICDAR): 1135–1139. DOI:10.1109/ICDAR.2011.229. Проверено 20 September 2013.
  13. Wan, Li (2013). "Regularization of Neural Network using DropConnect" in International Conference on Machine Learning(ICML).. 
  14. 1 2 Romanuke, Vadim The single convolutional neural network best performance in 18 epochs on the expanded training data at Parallel Computing Center, Khmelnitskiy, Ukraine. Проверено 16 ноября 2016.
  15. 1 2 Romanuke, Vadim Parallel Computing Center (Khmelnitskiy, Ukraine) gives a single convolutional neural network performing on MNIST at 0.27 percent error rate.. Проверено 24 ноября 2016.
  16. 1 2 Romanuke, Vadim Parallel Computing Center (Khmelnitskiy, Ukraine) represents an ensemble of 5 convolutional neural networks which performs on MNIST at 0.21 percent error rate.. Проверено 24 ноября 2016.
  17. Le Cunn, THE MNIST DATABASE of handwritten Digits
  18. Keysers, Daniel (August 2007). «Deformation models for image recognition». EEE Transactions on Pattern Analysis and Machine Intelligence 29 (8): 1422–1435. Проверено 27 August 2013.
  19. Kégl, Balázs (2009). «Boosting products of base classifiers». Proceedings of the 26th Annual International Conference on Machine Learning: 497–504. Проверено 27 August 2013.
  20. DeCoste and Scholkopf, MLJ 2002
  21. 1 2 Patrice Y. Simard (2003). «Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis». Document Analysis and Recognition, 2003. Proceedings. Seventh International Conference on (IEEE). DOI:10.1109/ICDAR.2003.1227801.
  22. Ciresan, Claudiu Dan; Dan, Ueli Meier, Luca Maria Gambardella, and Juergen Schmidhuber (December 2010). «Deep Big Simple Neural Nets Excel on Handwritten Digit Recognition». Neural Computation 22 (12). arXiv:1003.0358. DOI:10.1162/NECO_a_00052.

Литература[править | править вики-текст]

Ссылки[править | править вики-текст]