Материал из Wiki.
Информационный поиск (ИП) (английский термин Information retrieval) — наука о поиске неструктурированной документальной информации. В частности это относится к поиску информации в документах, поиск самих документов, извлечению метаданных из документов, поиску текста, изображений, видео и звука в локальных реляционных базах данных, в гипертекстовых базах данных таких, как Интернет и локальные интранет-системы.
Существует некоторая путаница, связанная с понятиями поиска данных, поиска документов, информационного поиска и текстового поиска. Тем не менее, каждое из этих направлений исследования обладает собственными методиками, практическими наработками и литературой.
Информационный поиск — большая междисциплинарная область науки, стоящая на пересечении когнитивной психологии, информатики, информационного дизайна, лингвистики, семиотики, и библиотечного дела.
Говоря о системах ИП, употребляют термины запрос и объект запроса.
Запрос — это формализованный способ выражения информационных потребностей пользователем системы. Для выражения информационной потребности используется язык поисковых запросов, синтаксис варьируется от системы к системе. Кроме специального языка запросов, современные поисковые системы позволяют вводить запрос на естественном языке.
Объект запроса — это информационная сущность, которая хранится в базе автоматизированной системы поиска. Несмотря на то, что наиболее распространенным объектом запроса является текстовый документ, не существует никаких принципиальных ограничений. В частности, возможен поиск изображений, музыки и другой мультимедиа информации. Процесс занесения объектов поиска в ИПС называется индексацией. Далеко не всегда ИПС хранит точную копию объекта, нередко вместо неё хранится суррогат.
Термин «информационный поиск» был впервые введен Кельвином Муром в 1948 в его докторской диссертации, опубликован и употребляется в литературе с 1950.
Сначала системы автоматизированного ИП, или информационно-поисковые системы (ИПС), использовались лишь для управления информационным взрывом в научной литературе. Многие университеты и публичные библиотеки стали использовать ИПС для обеспечения доступа к книгам, журналам и другим документам. Широкое распространение ИПС получили с появлением сети Интернет. У русскоязычных пользователей наибольшей популярностью пользуются поисковые системы Яндекс, Гугл и Рамблер.
В настоящее время ИП — это бурно развивающаяся область науки, популярность которой обусловлено экспоненциальным ростом объемов информации, в частности в сети Интернет. ИП посвящена обширная литература и множество конференций. Одной из наиболее известных является TREC, организованной в 1992 Министерством обороны США совместно с Институтом Стандартов и Технологий (NIST) с целью консолидации исследовательского сообщества и развития методик оценки качества ИП.
[править] Задачи информационного поиска
Центральная задача ИП — помочь пользователю удовлетворить его информационную потребность. Так как описать информационные потребности пользователя технически непросто, они формулируются как некоторый запрос, представляющий из себя набор ключевых слов, характеризующий то, что ищет пользователь.
Классическая задача ИП, с которой началось развитие этой области, — это поиск документов, удовлетворяющих запросу, в рамках некоторой статической коллекции документов. Но список задач ИП постоянно расширяется и теперь включает:
- Вопросы моделирования;
- Классификация документов;
- Фильтрация документов;
- Кластеризация документов;
- Проектирование архитектур поисковых систем и пользовательских интерфейсов
- Извлечение информации, в частности аннотирования и реферирования документов;
- Языки запросов и др.
[править] Оценки эффективности
Существует много способов оценить насколько хорошо документы, найденные ИПС, соответствуют запросу. К сожалению, понятие степени соответствия запроса, или другими словами релевантности, является субъективным понятием, а степень соответствия зависит от конкретного человека, оценивающего результаты выполнения запроса.
[править] Точность (precision)
Отношение числа релевантных документов, найденных ИПС, к общему числу документов найденных ИПС:
- <math>\mbox{Precision}=\frac{| D_{rel} \cap\ D_{retr} |}{| D_{retr} |} </math>,
где <math>D_{rel}</math> — это множество релевантных документов в базе, а <math>D_{retr}</math> — множество документов, найденных системой.
[править] Полнота (recall)
Отношение числа найденных релевантных документов, к общему числу релевантных документов в базе:
- <math>\mbox{Recall}=\frac{| D_{rel} \cap\ D_{retr} |}{| D_{rel} |} </math>,
где <math>D_{rel}</math> — это множество релевантных документов в базе, а <math>D_{retr}</math> — множество документов, найденных системой.
[править] Выпадение (fall-out)
Выпадение характеризует вероятность нахождения нерелевантного ресурса и определяется, как отношение числа найденных нерелевантных документов к общему числу нерелевантных документов в базе:
- <math>\mbox{Fall-out}=\frac{| D_{nrel} \cap\ D_{retr} |}{| D_{nrel} |} </math>,
где <math>D_{nrel}</math> — это множество нерелевантных документов в базе, а <math>D_{retr}</math> — множество документов, найденных системой.
[править] F-мера (F-measure)
Традиционно F-мера определяется, как гармоническое среднее точности и полноты:
- <math>F = 2 \times \mathrm{Precision} \times \mathrm{Recall} / (\mathrm{Precision} + \mathrm{Recall}).\,</math>
Часто ее также называют <math>F_1</math> мерой, потому что точность и полнота присутствуют в этой формуле с одинаковым весом.
Более общая формула для положительного вещественного α имеет вид:
- <math>F_\alpha = (1 + \alpha) \times \mathrm{Precision} \times \mathrm{Recall} / (\alpha \times \mathrm{Precision} + \mathrm{Recall}).\,</math>
INCOMERADE / Wiki / Информационный поиск
Заглавная страница
