Классификация документов

Материал из Википедии — свободной энциклопедии

Классификация документов — одна из задач информатики, заключающаяся в отнесении документа к одной из нескольких категорий на основании содержания документа.

Использует методы информационного поиска и машинного обучения.

Следует отличать классификацию текстов от кластеризации, в последнем случае тексты также группируются по некоторым критериям, но заранее заданные категории отсутствуют.

[править] Постановка задачи

Имеется множество категорий $\mathfrak{C} = \{ c_1, ... , c_{ \left| \mathfrak{C} \right| } \}$ .

Имеется множество документов $\mathfrak{D} = \{ d_1, ... , d_{ \left| \mathfrak{D} \right| } \}$ .

Неизвестная целевая функция $\Phi\colon \mathfrak{C} \times \mathfrak{D} \rightarrow \{ 0, 1 \}$ .

Необходимо построить классификатор $\Phi^\prime$ , максимально близкий к $Φ$ .

Имеется некоторая начальная коллекция документов, для которой известны значения $Φ$ . Обычно её делят на «обучающую» и «проверочную» части. Первая используется для обучения классификатора, вторая — для независимой проверки качества его работы.

Классификатор может выдавать точный ответ $\Phi^\prime\colon \mathfrak{C} \times \mathfrak{D} \rightarrow \{ 0, 1 \}$ или степень подобия $\Phi^\prime\colon \mathfrak{C} \times \mathfrak{D} \rightarrow [ 0, 1 ]$ .

[править] Этапы обработки

Индексация документов: Построение некоторой числовой модели текста, например в виде многомерного вектора слов и их веса в документе. Уменьшение размерности модели.

Построение и обучение классификатора: Могут использоваться различные методы машинного обучения: решающие деревья, наивный байесовский классификатор, нейронные сети, метод опорных векторов и др.

Оценка качества классификации: Можно оценивать по критериям полноты, точности, сравнивать классификаторы по специальным тестовым наборам.

[править] Применение

фильтрация спама
составление интернет-каталогов
подбор контекстной рекламы
в системах документооборота
автоматическое реферирование (составление аннотаций)
снятие неоднозначности при автоматическом переводе текстов
ограничение области поиска в поисковых системах

[править] См. также

[править] Ссылки

Лекция № 6 по классификации текстов курса «Современные задачи теоретической информатики» (постановка задачи, построение и обучение классификатора, оценка качества).
F. Sebastiani. Machine Learning in Automated Text Categorization (PDF). (англ.)
"Семантическое зеркало". Пример технологии автоматической классификации документов.

Классификация документов

Материал из Википедии — свободной энциклопедии

Содержание

[править] Постановка задачи

[править] Этапы обработки

[править] Применение

[править] См. также

[править] Ссылки

Просмотры

Личные инструменты

Навигация

Поиск

Участие

Инструменты

На других языках