MNIST (база данных)

База данных MNIST (сокращение от «Modified National Institute of Standards and Technology») — объёмная база данных образцов рукописного написания цифр. База данных является стандартом, предложенным Национальным институтом стандартов и технологий США с целью калибрации и сопоставления методов распознавания изображений с помощью машинного обучения в первую очередь на основе нейронных сетей. Данные состоят из заранее подготовленных примеров изображений, на основе которых проводится обучение и тестирование систем. База данных была создана после переработки оригинального набора чёрно-белых образцов размером 20x20 пикселей NIST. Создатели базы данных NIST, в свою очередь, использовали набор образцов из Бюро переписи населения США, к которому были добавлены ещё тестовые образцы, написанные студентами американских университетов. Образцы из набора NIST были нормализированы, прошли сглаживание и приведены к серому полутоновому изображению размером 28x28 пикселей.

База данных MNIST содержит 60000 изображений для обучения и 10000 изображений для тестирования. Половина образцов для обучения и тестирования были взяты из набора NIST для обучения, а другая половина — из набора NIST для тестирования.

Производились многочисленные попытки достичь минимальной ошибки после обучения по базе данных MNIST, которые обсуждались в научной литературе. Рекордные результаты указывались в публикациях, посвящённых использованию свёрточных нейронных сетей, уровень ошибки был доведён до 0,23 %. Сами создатели базы данных предусмотрели несколько методов тестирования. В оригинальной работе указывается, что использование метода опорных векторов позволяет достичь уровня ошибки 0,8 %.

Качество результата и развитие подходов

В некоторых работах отмечают высокие результаты систем, построенных на ансамблях из нескольких нейронных сетей; при этом качество распознавания цифр для базы MNIST оказывается сравнимым с уровнем человека, а для других задач распознавания, в частности, для дорожных знаков — даже в два раза лучше.

На оригинальных страницах создателей отмечаются ошибки в 12 % при использовании простых линейных классификаторов без предварительной обработки.

В 2004 году система LIRA, использующая трёхслойный перцептрон Розенблатта, получила уровень ошибки 0,42 %.

Проводились исследование на обучении по системе MNIST с использованием случайных искажений. В качестве искажений вводились аффинные или упругие преобразования. Иногда такие системы достигали хороших показателей, в частности имеются публикации про уровень ошибки 0,39 %.

В 2011 был достигнут уровень ошибок 0,27 % при использовании нейронных сетей. В 2013 появились публикации о достижении ошибки 0,21 %, используя регуляризацию нейронных сетей (через разрывы соединений DropConnect).

Позднее применение одиночной свёрточной нейронной сети позволило улучшить качество до уровня ошибки 0,31 %. Самый лучший результат на одиночной свёрточной нейронной сети показала система, полученная после 74 эпох обучения — 0,27 %. Однако ансамбль из пяти свёрточных нейронных сетей позволил добиться 0,21 % уровня ошибок. В 2018 году исследователи, использующие Random Multimodel Deep Learning (RMDL), сообщили об ошибке в размере 0,18 процента, улучшив предыдущий наилучший результат: новый ансамбль, метод глубокого обучения для классификации .

Сопоставление систем

В таблице собраны примеры результатов машинного обучения в различных системах классификации изображений: