BattleCaseкомпьютерная помощь

Что означает метрика качества в машинном обучении

НА ОСНОВЕ МОДИФИЦИРОВАННОГО ГЕНЕТИЧЕСКОГО АЛГОРИТМА ДЛЯ МЕТРИКИ ЫРСО

Что означает метрика качества в машинном обучении
Содержание
  1. Энциклопедичный YouTube
  2. Метрики качества ранжирования
  3. Примечания
  4. Метрики оценки качества
  5. Кросс-валидация
  6. О задаче классификации
  7. Метрики оценки
  8. Метрика F 1
  9. Обучающая и тестовая выборка
  10. В итоге?

УДК 519.816

С. В. СЕМЕНИХИН Л. А. ДЕНИСОВА

Омский государственный технический университет

МЕТОД МАШИННОГО ОБУЧЕНИЯ РАНЖИРОВАНИЮ

Рассмотрены задача ранжирования документов на странице результатов информационного поиска и вопросы машинного обучения ранжированию. Предложен подход к оптимизации функции ранжирования с использованием метрики качества ЫОСО на основе модифицированного генетического алгоритма. Проведены исследования разработанных алгоритмов (на тестовых коллекциях ЬЕТО^ и показана их эффективность для машинного обучения ранжированию.

Ключевые слова: информационный поиск, машинное обучение ранжированию, релевантность, оптимизация, генетические алгоритмы.

1. Введение. В современных информационно-поисковых системах (ИПС) объемы данных, которыми оперирует система, настолько велики, что ключевой задачей становится ранжирование релевантных документов в ответ на поисковый запрос пользователя. На данном этапе развития ИПС наибольший интерес представляет машинное обучение (МО) ранжированию. Существующие подходы к МО, основанные на численных методах (в частности, на градиентных методах) или на аналитических расчетах , имеют ряд недостатков, которые существенно влияют на качество информационного поиска и временные затраты, необходимые для ранжирования релевантных документов.

В начале проведенных исследований были рассмотрены списочные подходы к машинному обучению ранжированию , в большинстве из которых используется метод градиентного спуска . В рассмотренных работах МО сводится к оптимизации метрик качества поиска (МКП), однако используются только метрики, представленные непрерывными функциями.

Это ограничение зачастую приводит к тому, что в результате оптимизации функция ранжирования имеет менее высокие оценки по многим важным принятым показателям (DCG, nDCG, Graded Mean Reciprocal Rank и т.д.), являющимся дискретным функциями.

В работе предложено применение генетических алгоритмов (ГА) при обучении ранжированию для минимизации функции потерь Хубера с использованием экспертных оценок релевантности в качестве эталонных значений. Также был предложен подход к МО на основе оптимизации дискретных метрик качества информационного поиска .

2. Постановка задачи машинного обучения ранжированию. В большинстве современных информационно-поисковых систем функция ранжирования строится на основе n простых ранжирующих функций (ПРФ) и может быть записана в виде:

Где SRF¡ - ¡-ая простая ранжирующая функция для документа d и запроса д, WCi - весовой коэффициент ¡-ой простой ранжирующей функции, п - количество ПРФ в системе ранжирования.

В ходе машинного обучения ранжированию использован набор поисковых документов Б и запросов О из тестовой коллекции ЬБТОЯ . Для всех запросов деО сформирована пара с каждым документом dеD. Для каждой такой пары ИПС определяет значения релевантности, которые используются для ранжирования поисковой выдачи. Для того чтобы произвести оценку качества ранжирования, системе требуются эталонные значения релевантности Е для каждой пары документ-запрос ^, д). Для этих целей используются экспертные оценки релевантности.

Для проведения исследования использована ИПС, в которой ранжирование производится на основе N = 5 простых ранжирующих функций SRFi(WC)l г = 1, N, которые образуют векторный критерий оптимальности:

Где WCе {WC} - вектор варьируемых параметров; {ШС}, {ЯБ} - пространства параметров и векторных критериев соответственно.

Применение генетических алгоритмов для МО ранжированию делает возможным максимизацию дискретных метрик качества, таких как nDCG. Метрика nDCG ранжирования документов в поисковой системе определяется в соответствии с выражением :

DCG @ n = X 2---

RF(q, d)= X WC. ■ SRF., i=1 1 1

Где grade(p) - средняя оценка релевантности, выставленная экспертами документу, расположенному на позиции p в списке результатов, gradee ; 1/log2(2 + p) - коэффициент, зависящий от позиций документа (первые документы имеют больший вес).

Тогда нормализованная версия NDCG запишется в виде

N000 @ п = ОСО @ П / г,

Где г - фактор нормализации, который равен максимально возможному значению 0С0@п для данного запроса (т.е. Равен ООО идеального ранжирования).

Таким образом, для оптимизации (максимизации) метрики пОСО, целевая функция (ЯМ) запишется в следующем виде

3. Метрики качества ранжирования поисковой выдачи. При ранжировании документов в поисковой выдаче в роли критериев выступают метрики качества. Из списка общепринятых метрик оценки качества ИПС выбраны три основные, оценивающие точность, релевантность и полноту информационного поиска.

1. Критерий точности информационного поиска

Где a - количество найденных релевантных документов, b - количество документов, ошибочно принятых за релевантные.

2. Критерий Bpref, оценивающий релевантность информационного поиска, используется для обработки задания с R релевантными документами и вычисляется по формуле

Bpref = - ^ (1 - Non Re ¡Before(r)/ R). (4)

Здесь символом r обозначен известный релевантный документ, а NonRelBefore(r) - число известных нерелевантных документов, ранжированных выше, чем r (при вычислении учитываются только первые R оцененных нерелевантных документов из прогона).

3. Критерий полноты поисковой выдачи

r = a / (a + с),

Где a - количество найденных релевантных документов, с - количество ненайденных релевантных документов.

4. Тестовые коллекции. В задаче машинного обучения ранжированию необходим набор документов и запросов с соответствующими оценками релевантности, определенными экспертами. Эти данные используются для машинного обучения ранжирующей функции, а также для оценки качества

Ранжирования поисковой выдачи системой. В процессе МО тестовые коллекции используются в качестве обучающей выборки и, следовательно, оказывают значительное влияние на результаты. Для проведения исследований использована тестовая коллекция документов и запросов LETOR. Эта коллекция используется в исследованиях в области поиска информации подразделениями Microsoft Research. В табл. 1 приведены характеристики тестовых коллекций LETOR.

5. Модифицированный генетический алгоритм. Для использования генетических алгоритмов в машинном обучении ранжированию задача должна быть поставлена таким образом, чтобы решение было закодировано в виде вектора (генотипа), где каждый ген может быть битом, числом или другим объектом. В данном случае генотип представлен вектором весовых коэффициентов для соответствующих факторов ранжирования. Условием остановки выполнения генетического алгоритма является нахождение оптимального решения, исчерпание числа поколений или времени, отведенного на эволюцию.

ГА наиболее эффективны в поисках области глобального экстремума, однако они могут медленно работать, когда необходимо найти локальный минимум в этой области. Предлагаемый способ избежать этого недостатка - создание модифицированного генетического алгоритма (МГА), который будет переключаться на локальный (быстродействующий) алгоритм оптимизации после нахождения области глобального оптимума с помощью базового ГА.

Предлагаемый в работе МГА представляет собой гибридный метод на основе классического ГА и метода Нелдера - Мида (симплекс-алгоритма). Метод Нелдера - Мида, часто используемый алгоритм нелинейной оптимизации, является численным методом для нахождения минимума целевой функции в многомерном пространстве .

Предлагаемый в данной работе гибридный алгоритм MGA переключается на метод Нелдера - Мида после выполнения условий остановки ГА. Блок-схема алгоритма MGA показана на рис. 1.

При выполнении исследований принято ограничение на количество вычислений целевой функции (Nrf= 16 000) при поиске области глобального экстремума и условие перехода на алгоритм локальный оптимизации на основе метода Нелдера - Мида (после того как базовый генетический алгоритм выполнит 75 % Nrf операций).

6. Результаты. В результате проведенных исследований с помощью алгоритма машинного обучения

Таблица 1

Количество документов и запросов в тестовых коллекциях

Название тестовой коллекции Название подсистемы Количество запросов Количество документов

LETOR 4.0 MQ2007 1692 69623

LETOR 4.0 MQ2008 784 15211

LETOR 3.0 OHSUMED 106 16140

LETOR 3.0 Gov03td 50 49058

LETOR 3.0 Gov03np 150 148657

LETOR 3.0 Gov03hp 150 147606

LETOR 3.0 Gov04td 75 74146

LETOR 3.0 Gov04np 75 73834

LETOR 3.0 Gov04hp 75 74409

Рис. 1. Блок-схема гибридного алгоритма МвЛ на основе генетических алгоритмов и метода Нелдера-Мида

Ранжированию LTR-MGA получен вектор весовых коэффициентов WC* для функции ранжирования. Далее на основе данных из тестовой коллекции ЬЕТОЯ произведена оценка качества ранжирования, для чего вычислены метрики качества. Дискретная метрика качества ранжирования NDCG@n оценивает качество первых п документов ответа системы. Общепринятыми метриками для оценки качества ранжирования являются NDCG@1, NDCG@5 и NDCG@10.

Однако для более детального рассмотрения изменений метрики в зависимости были рассмотрены значения NDCG@n для всех п от 1 до 10. Для сравнения эффективности разработанного алгоритма с существующими решениями проведен сравнительный анализ с использованием ранжирующих алгоритмов, предоставленных в коллекциях ЬЕТОЯ 3.0.

Результаты выполнения алгоритмов для тестовых коллекций ТБ2003 и ТБ2004 для метрики NDCG представлены на рис. 2. Результаты показывают, что алгоритм LTR-MGA превосходит тестовые алгоритмы, причем наиболее высокие значения име-

Ются для NDCG@1 (на уровне первого документа). Превосходство алгоритма LTR-MGA вызвано тем, что, в отличие от рассмотренных в экспериментах тестовых ранжирующих функций, в предлагаемом подходе для оптимизации функции ранжирования именно метрика NDCG используется в качестве целевой функции.

Для того, чтобы оценить качество ранжирования при использовании предлагаемого алгоритма LTR-MGA вычислены значения метрик качества ранжирования документов в поисковой выдаче (рис. 3). Сравнение результатов ранжирования (табл. 2) при использовании базовой ранжирующей функции, базового алгоритма LTR-GA и модифицированного алгоритма LTR-MGA свидетельствует о преимуществе последнего.

Кроме того, при исследовании выполнена оценка времени, требуемого для МО ранжированию. Это необходимо для подтверждения того, что предложенный метод LTR-MGA превосходит в этом показателе подход, основанный на использовании традици-

Рис. 2. Сравнение алгоритмов машинного обучения ранжированию

По метрике NDCG для тестовых коллекций: слева - набор данных Gov03td, справа - набор данных Gov04td

Рис. 3. Оценка метрик качества ранжирования для базовой ранжирующей формулы и алгоритмов обучения LTR-GA и LTR-MGA

Метрики качества ранжирования для разных алгоритмов машинного обучения ранжированию

Таблица 2

Метрика качества ранжирования Базовая ранжирующая функция LTR-GA LTR-MGA Повышение значения метрики, %

Точность 0,201 0,251 0,267 26,81

NDCG@5 (первые 5 документов) 0,149 0,31 0,339 90,47

NDCG@10 (первые 10 документов) 0,265 0.342 0,362 29,14

Bpref 0,303 0,316 0,446 51,49

Полнота 0,524 0,542 0,732 39,03

* Серым выделены лучшие значения для соответствующей метрики

Онного генетического алгоритма (ЬТЯ-ОЛ). Результаты сравнения временных затрат на выполнение алгоритмов ЬТЯ-ОЛ и ЬТЯ-МОЛ приведены в табл. 3.

7. Заключение. Таким образом, проведенные исследования показали, что при использовании предлагаемого подхода значения рассмотренных метрик ранжирования в ИПС увеличиваются (в среднем на 19,55 % по сравнению с алгоритмом ЬТЯ-ОЛ). Это подтверждает, что ЬТЯ-МОЛ работает корректно и значительно улучшает функцию ранжирования, другими словами - успешно решает задачу оптимизации. С помощью модифицированного алгоритма

За счет применения метода локальной оптимизации и введенных ограничений на количество вычислений целевой функции время машинного обучения снизилось (в среднем на 17,71 % по сравнению с использованием традиционного генетического алгоритма ЬТЯОЛ).

Разработанный алгоритм машинного обучения ранжированию ЬТЯ-МОЛ может быть использован в ИПС, использующих модель ранжирования на основе комбинации простых ранжирующих функций. Однако следует учесть некоторые ограничения по применению предлагаемого подхода. На основе

Оценка времени выполнения машинного обучения ранжированию в зависимости от размера обучающей выборки

Таблица 3

Размер текстовой коллекции документов

Время выполнения LTR-GA

Время выполнения LTR-MGA

Уменьшение времени выполнения, %

Среднее значение

*Серым цветом выделены лучшие значения для соответствующего размера тестовой коллекции

Полученных результатов выявлено, что после МО наибольший прирост имеет та метрика качества ранжирования, значение которой принималось в качестве целевой функции. В то же время остальные метрики могут не иметь существенного улучшения, а в некоторых случаях даже ухудшить свои значения.

В качестве одного из возможных подходов к устранению этого недостатка предполагается решать задачу оптимизации как многокритериальную: равномерно улучшать несколько основных метрик ранжирования поисковой выдачи, вместо того чтобы оптимизировать одну.

Кроме того, в дальнейших исследованиях планируется разработать методику построения целевой функции на основе линейной свертки основных метрик качества ранжирования для улучшения процесса информационного поиска.

Библиографический список

1. Tie-Yan Liu. Learning to Rank for Information Retrieval // Journal Foundations and Trends in Information Retrieval. Vol. 3, issue 3. March 2009. P. 225-331.

2. Christopher J. C. Burges, Tal Shaked, Erin Renshaw. Learning to Rank using Gradient Descent // Proceeding ICML "05 Proceedings of the 22nd international conference on Machine learning. 2005. P. 89-96.

3. Семенихин, С. В. Исследование подходов к машинному обучению ранжированию документов поисковой системой на базе генетических алгоритмов / С. В. Семенихин // Россия молодая: передовые технологии - в промышленность. - 2013. - № 2. - С. 82 - 85.

4. Многокритериальная оптимизация на основе генетических алгоритмов при синтезе систем управления: моногр. / Л. А. Денисова. - Омск: Изд-во ОмГТУ, 2014. - 170 с. - ISBN 978-5-8149-1822-2.

5. Денисова, Л. А. Автоматизация параметрического синтеза системы регулирования с использованием генетического алгоритма / Л. А. Денисова, В. А. Мещеряков // Автоматизация в промышленности. - 2012. - № 7. - С. 34 - 38.

6. Huber, Peter J. Robust Estimation of a Location Parameter // Annals of Statistics. - 1964. - № 53. - P. 73-101.

7. Семенихин, С. В. Автоматизация информационного поиска на базе многокритериальной оптимизации и генетических алгоритмов / С. В. Семенихин, Л. А. Денисова // Динамика систем, механизмов и машин. - 2014. - № 3. - С. 224 - 227.

8. Tie-Yan Liu, Jun Xu, Tao Qin, Wenying Xiong and Hang Li. LETOR: Benchmark Dataset for Research on Learning to Rank for Information Retrieval // SIGIR 2007 Workshop on Learning to Rank for Information Retrieval. - 2007. - С. 3-10.

9. Агеев, М. С. Официальные метрики Р0МИП"2004 / М. С. Агеев, И. Е Кураленок // II Россиискии семинар по оценке методов информационного поиска (РОМИП 2004), Пущино, 2004: тр. ; под ред. И. С. Некрестьянова. - СПб. : НИИ химии СПбГУ. - С. 142-150.

10. J. A. Nelder, R. Mead, A simplex method for function minimization, The Computer Journal 7 (1965). 308-313.

СЕМЕНИХИН Святослав Витальевич, аспирант кафедры "Автоматизированные системы обработки информации и управления". Адрес для переписки: [email protected] ДЕНИСОВА Людмила Альбертовна, доктор технических наук, доцент кафедры "Автоматизированные системы обработки информации и управления". Адрес для переписки: [email protected]

Энциклопедичный YouTube

  • 1 / 5 Во время обучения ранжирующей модели и при её работе, каждая пара документ-запрос переводится в числовой вектор из ранжирующих признаков (также называемых ранжирующими факторами или сигналами), характеризующих свойства документа, запроса и их взаимоотношение. Такие признаки можно разделить на три группы: Ниже приведены некоторые примеры ранжирующих признаков, использующиеся в широко известном в данной области исследований наборе данных LETOR:
    • Значения мер TF, TF-IDF , BM25 , и языковой модели соответствия запросу различных зон документа (заголовка, URL, основного текста, текста ссылок);
    • Длины и IDF-суммы зон документа;
    • Ранги документа, полученные различными вариантами таких алгоритмов ссылочного ранжирования, как PageRank и HITS .

    Метрики качества ранжирования

    Примеры метрик:

    Примечания

    1. Tie-Yan Liu (2009), Learning to Rank for Information Retrieval , Foundations and Trends in Information Retrieval: Vol. 3: No 3, с. 225-331, ISBN 978-1-60198-244-5 , DOI 10.1561/1500000016 . Доступны слайды c выступления Т. Лью на конференции WWW 2009.

    Машинное обучение

    Визуальное качество

    Реконструкция

    Обработка изображений

    Целью данной работы

    Математическая модель

    Рис 1. Модель изображения

    Алгоритм оценки качества восстановления изображений

    1. Определение пространства признаков , служащих описанием входных сигналов.

    2. Выбор функции отображения из пространства признаков в пространство оценок качества .

    3. Обучение системы и проверка ее устойчивости (проверка на переобучение и т.д.).

    1. Выбор области интереса (с использованием карты внимания);

    2. Вычисление низкоуровневых признаков изображения;

    3. Построение дескриптора восстановленной области на базе низкоуровневых особенностей;

    Рис. 2. Блок-схема алгоритма

    Средний риск определяется путем усреднения условного риска по подклассам сигналов:

    Где - вероятность -го подкласса сигналов.

    3) возрастающее: . Выберем функцию стоимости в виде: .

    Таблица 1

    Величины среднего риска

    Виды распределения вероятностей

    Рис.3. Построение гистограммы

    Оценка эффективности алгоритма оценки качества восстановления изображений

    Таблица 2

    Коэффициент корреляции для различных методов вычисления объективной

    Метрики качества изображений

    Предложенный подход

    Заключение

    Рецензенты:

    Библиографическая ссылка

    URL: (дата обращения: 01.02.2020).

    В данной главе представлены популярные методы оценки качества работы модели классификации, которые в том числе используются в других работах на эту тему. Приведено их описание и обоснование используемых для данной оценки метрик.

    Метрики оценки качества

    Полная точность (accuracy)

    Данная метрика является одной из наиболее простых и в то же время универсальных метрик для оценки качества работы алгоритмов классификации. Значение данного коэффициента вычисляется как доля верно классифицированных объектов от общего числа объектов в выборке. Данная метрика популярна благодаря своей простоте и возможности расширения на любое число классов.

    Основным недостатком данной метрики является то, что она присваивает всем документам одинаковый вес, что может быть некорректно в случае сильного смещения документов в обучающей выборке в сторону какого-либо одного или нескольких классов. Данная метрика может иметь высокое значение, однако классификатор в пределах одного класса может показывать крайне низкое качество работы.

    При этом метрика никак не сигнализирует об этом.

    Точность, полнота и F-мера

    Такие метрики, как точность (precision) и полнота (recall) впервые получили широкое распространение в оценке качества работы систем решающих задачу информационного поиска. Точность системы в пределах одного класса представляет собой долю объектов действительно принадлежащих определенному классу относительно всех объектов отнесенных системой к этому классу.

    Полнота выражается как доля найденных классификатором объектов принадлежащих классу относительно всех объектов этого класса . Таблица 4 представляет собой таблицу сопряженности отдельного класса, где TP (true positive) - истинно-положительное решение, TN (true negative) - истинно-отрицательное решение, FP (false positive) - ложно-положительное решение и FN (false negative) - ложно-отрицательное решение.

    Таблица 1 - Таблица сопряженности класса объектов

    Таким образом, точность и полнота вычисляются как:

    F-мера объединяет в себе информацию о точности и полноте оцениваемого алгоритма. Вычисляется она как гармонические среднее показателей точности и полноты:

    В силу того, что F-мера вычисляется отдельно для каждого класса ее удобно использовать для поиска и анализа конкретных ошибок алгоритма, для оценки классификации с несколькими классами. При этом в случае большого числа классов необходима характеристика, которая бы агрегировала полноту и точность по всем классам и характеризовала бы общее поведение системы.

    В данной работе для этой цели применяется следующие агрегированные величины: макро точность (macro precision), которая вычисляется как среднее арифметическое значения точности по всем классам, макро полнотой (macro recall), которая вычисляется как среднее арифметическое значение полноты по всем классам и макро F-мера (Macro F-score), которая является гармоническим средним между ними .

    Кросс-валидация

    Одним из наиболее распространенных методов для проведения полноценного тестирования и оценки качества работы различных алгоритмов машинного обучения, является скользящий контроль (cross-validation). Для независимой выборки данный метод позволяет получить несмещенную оценку вероятности ошибки в отличие от средней ошибки на обучаемой выборке, которая может являться смещенной оценкой вероятности ошибки из-за переобучения алгоритма . Другим достоинством данной процедуры является способность получения оценки вероятности ошибки алгоритма, при отсутствии специально разработанной для тестирования контрольной выборки.

    Допустим, что - множество признаковых описаний объектов, на котором задана конечная выборка прецедентов, где - конечное множество классов. Задано отображение, которое произвольной выборке прецедентов ставит в соответствие алгоритм. Тогда качество работы алгоритма по произвольной выборке прецедентов оценивается с помощью функционала качества:

    Где - некоторая неотрицательная функция, которая возвращает величину ошибки алгоритма при корректной метке класса.

    Зачастую в практике системного аналитика, составляющего FRD, встречаются вещи неформализуемые. Примером могут быть требования типа:

    • Приложение должно работать быстро
    • Приложение должно потреблять мало трафика
    • Видеоматериал должен быть качественным.

    Такие требования, будучи записанными в FRD "как есть", являются чудовищным источником проблем впоследствии. Формализация таких требований - постоянная головная боль аналитика.

    Обычно аналитик решает задачу в два приема: сначала выдвигается "эквивалентное" формальное требование, затем в процессе общения (с заказчиком, экспертом предметной области и т.п.) доказывается, что такое формальное требование может заменить собой исходное требование. Вообще говоря, полученное нами требование не является функциональным; оно описывает не "что" должна уметь делать система, а "как делать".

    При этом "как делать" должно быть сформулировано с конкретной качественной характеристикой.

    Это была преамбула к тезису о том, что системный аналитик должен хорошо владеть математическим аппаратом и заодно уметь объяснять "математику" заказчику. А теперь рассмотрим пример.

    О задаче классификации

    Предположим, что мы пишем FRD для системы контекстной рекламы, похожей на Amazon Omakase . Одним из модулей нашей будущей системы будет контекстный анализатор:

    Анализатор принимает на входе текст веб-страницы и производит его контекстный анализ. То, каким образом он это делает, нас особо не интересует; важно, что на выходе мы получаем набор товарных категорий (множество которых заранее определено). Далее на основе этих категорий мы можем показывать баннеры, товарные ссылки (как Amazon) и т.п. Анализатор для нас пока является черным ящиком, которому мы можем задать вопрос (в виде текста документа) и получить ответ.

    Заказчик хочет, чтобы анализатор "хорошо определял контекст". Нам надо сформулировать, что это требование означает. Для начала поговорим о контексте как таковом, т.е. О том самом наборе категорий, который возвращается анализатором. Можно определить это как задачу классификации , когда документу (веб-странице) сопоставляется множество классов из заранее определенного числа; в нашем случае классы - это товарные категории. Задача классификации довольно часто встречается в обработке текстов (например, спам-фильтры).

    Метрики оценки

    Рассмотрим метрики оценки, применимые к задаче классификации. Допустим, что мы знаем правильные

    Категории для некоторого числа документов. Сгруппируем ответы нашего гипотетического анализатора следующим образом:

    • Истинно-положительные ( true positives ) - те категории, которые мы ожидали увидеть и получили на выходе
    • Ложно-положительные ( false positives ) - категории, которых быть на выходе не должно и анализатор их ошибочно вернул на выходе
    • Ложно-отрицательные ( false negatives ) - категории, которые мы ожидали увидеть, но анализатор их не определил
    • Истинно-отрицательные ( true negatives ) - категории, которых быть на выходе не должно и на выходе анализатора они тоже совершенно правильно отсутствуют.

    Назовем тестовой выборкой множество документов (веб-страниц), для которых мы знаем правильные ответы. Если подсчитать по каждой категории число попаданий (считаем попадания по парам

    Документ - категория), получим каноническую табличку распределения ответов:

    Левая колонка таблицы - это "правильные" сочетания документов и категорий (присутствия которых мы ожидаем на выходе), правая - неправильные. Верхняя строка таблицы - положительные (positive) ответы классификатора, нижняя - отрицательные (в нашем случае - отсутствие категории в ответе). Если число всех пар документ - категория

    Равно N

    , то нетрудно увидеть, что

    В общем-то, теперь можно записать требование заказчика в виде (число неправильных ответов равно нулю) и на этом остановиться. Однако на практике таких систем не бывает и анализатор будет, разумеется, работать с ошибками относительно тестовой выборки. Понять процент ошибок нам поможет метрика правильности (accuracy):

    В числителе мы видим диагональ матрицы - суммарное число правильных ответов, который делится на общее число вопросов. Например, анализатор, давший 9 правильных ответов из 10 возможных, имеет accuracy 90%.

    Метрика F 1

    Простым примером неприменимости accuracy-метрики является задача определения обувного бренда. Допустим, мы хотим подсчитать число упоминаний обувных брендов в тексте. Рассмотрим задачу классификации, целью которой будет определить, является ли указанная сущность обувным брендом (Timberland, Columbia, Ted Baker, Ralph Lauren и т.п.). Иначе говоря, мы разбиваем сущности в тексте на два класса: A - Обувной бренд, B - Все остальное.

    Теперь рассмотрим вырожденный классификатор, который просто возвращает класс B (Все остальное) для любых

    Сущностей. Для этого классификатора число истинно-положительных ответов будет равно 0. Вообще говоря, давайте подумаем на тему, а часто ли при чтении текста в интернете нам встречаются обувные бренды? Оказывается, как ни странно, что в общем случае 99.9999% слов текста не являются обувными брендами

    . Построим матрицу распределения ответов для выборки в 100.000:

    Вычислим его accuracy, который будет равен 99990 / 100000 = 99.99%! Итак, мы легко построили классификатор, который по сути не делает ничего, однако имеет огромный процент правильных ответов. В то же время совершенно понятно, что задачу определения обувного бренда мы не решили. Дело в том, что правильные сущности в нашем тексте сильно "разбавлены" другими словами, которые для классификации никакого значения не имеют. Учитывая этот пример, вполне понятно желание использовать другие метрики. Например, значение tn

    Явно является "мусорным" - оно вроде как означает правильный ответ, но разрастание tn

    В итоге сильно "подавляет" вклад tp

    (который нам важен) в формулу accuracy.

    Определим меру точности (P, precision) как:

    Как нетрудно заметить, мера точности характеризует, сколько полученных от классификатора положительных ответов являются правильными. Чем больше точность, тем меньше число ложных попаданий.

    Мера точности, однако, не дает представление о том, все ли правильные ответы вернул классификатор. Для этого существует так называемая мера полноты (R, recall):

    Мера полноты характеризует способность классификатора "угадывать" как можно большее число положительных ответов из ожидаемых. Заметим, что ложно-положительные ответы никак не влияют на эту метрику.

    Precision и Recall дают довольно исчерпывающую характеристику классификатора, причем "с разных углов". Обычно при построении подобного рода систем приходится все время балансировать между двумя этими метриками. Если вы пытаетесь повысить Recall, делая классификатор более "оптимистичным", это приводит к падению Precision из-за увеличения числа ложно-положительных ответов.

    Если же вы подкручиваете свой классификатор, делая его более "пессимистичным", например, строже фильтруя результаты, то при росте Precision это вызовет одновременное падение Recall из-за отбраковки какого-то числа правильных ответов. Поэтому удобно для характеристики классификатора использовать одну величину, так называемую метрику F 1:

    Фактически это просто среднее гармоническое величин P и R. Метрика F 1 достигает своего максимума 1 (100%), если P = R = 100%.

    (нетрудно прикинуть, что для нашего вырожденного классификатора F 1 = 0). Величина F 1 является одной из самых распространенных метрик для подобного рода систем. Именно F 1 мы и будем использовать, чтобы сформулировать пороговое качество нашего анализатора в FRD.

    В вычислении F 1 для задачи классификации есть два основных подхода.

    • Суммарный F 1 : результаты по всем классам сводим в одну единую таблицу, по которой затем вычисляется метрика F 1 .
    • Средний F 1 : для каждого класса формируем свою contingency matrix и свое значение F 1 , затем берем простое арифметическое среднее для всех классов.

    Зачем нужен второй способ? Дело в том, что размеры выборки для разных классов могут сильно различаться. Для каких-то классов у нас может быть очень мало примеров, а для каких-то - много. В итоге метрики одного "большого" класса, будучи сведенными в одну общую таблицу, будут "забивать" все остальные. В ситуации, когда мы хотим оценить качество работы системы более-менее равномерно для всех классов, второй вариант подходит лучше.

    Обучающая и тестовая выборка

    Выше мы рассматривали классификацию на единой выборке, для которой нам известны все ответы. Если применить это к контекстному анализатору, который мы пытаемся описать, все выглядит немного сложнее.

    Прежде всего, мы должны зафиксировать товарные категории. Ситуация, когда мы гарантируем какую-то величину F 1 , а набор классов при этом может неограниченно расширяться, практически тупиковая. Поэтому дополнительно оговаривается, что набор категорий фиксирован.

    Мы вычисляем значение F 1 по заданной выборке, которая известна заранее. Эта выборка обычно называется обучающей

    . Однако мы не знаем, как поведет себя классификатор на тех данных, которые нам неизвестны. Для этих целей обычно используется так называемая тестовая выборка

    , иногда называемая golden set

    . Разница между обучающей и тестовой выборкой чисто умозрительная: ведь имея некоторое множество примеров, мы можем разрезать его на обучающую и тестовую выборку как нам угодно. Но для самообучающихся систем формирование правильной обучающей выборки очень критично. Неправильно подобранные примеры могут сильно повлиять на качество работы системы.

    Типична ситуация, когда классификатор показывает хороший результат на обучающей выборке и совершенно провальный - на тестовой выборке. Если наш алгоритм классификации основан на машинном обучении (т.е. Зависит от обучающей выборки), мы можем оценить его качество по более сложной "плавающей" схеме. Для этого все имеющиеся у нас примеры делим, скажем, на 10 частей.

    Изымаем первую часть и используем ее для обучения алгоритма; оставшиеся 90% примеров используем как тестовую выборку и вычисляем значение F 1 . Затем изымаем вторую часть и используем в качестве обучающей; получаем другое значение F 1 , и т.д. В итоге мы получили 10 значений F 1 , теперь берем их среднее арифметическое значение, которое и станет окончательным результатом.

    Повторюсь, что это способ (называемый также cross-fold validation

    ) имеет смысл только для алгоритмов, основанных на машинном обучении.

    Возвращаясь к написанию FRD, замечаем, что у нас ситуация куда хуже. Мы имеем потенциально неограниченный набор входных данных (все веб-страницы интернета) и нет никакого способа оценить контекст страницы, кроме как участие человека

    . Таким образом, наша выборка может быть сформирована только вручную, причем сильно зависеть от капризов составителя (а решение о том, отнести ли страницу к какой-то категории, принимает человек). Мы можем оценить меру F 1 на известных нам примерах, но никак не можем узнать F 1 для всех страниц интернета

    . Поэтому для потенциально неограниченных наборах данных (таких, как веб-страницы, коих неисчислимо много), иногда используют "метод тыка" (unsupervised). Для этого случайным образом выбирают определенное число примеров (страниц) и по ним оператор (человек) составляет правильный набор категорий (классов). Затем мы можем испытать классификатор на этих выбранных примерах. Далее, считая, что выбранные нами примеры являются типичными

    , мы можем приближенно оценить точность алгоритма (Precision). При этом Recall мы оценить не можем (неизвестно, сколько правильных ответов находятся за пределами выбранных нами примеров), следовательно, не можем вычислить и F 1 .

    Таким образом, если мы хотим узнать, как ведет себя алгоритм на всех возможных входных данных, самое лучшее, что сможем оценить в этой ситуации - это приближенное значение Precision. Если же все согласны использовать заранее определенную фиксированную выборку, то можно вычислить средние значение F 1 по этой выборке

    В итоге?

    А в итоге нам придется сделать следующее:

    1. Зафиксировать обучающую выборку. Обучающая выборка будет построена исходя из представлений заказчика о "правильном" контексте.
    2. Зафиксировать набор категорий для нашего анализатора. Не можем же мы вычислять F 1 по неопределенному набору классов?
    3. Описать требование в виде: Анализатор должен определять контекст с средней величиной F 1 не менее 80%. (например)
    4. Объяснить это заказчику.

    Как видим, написать FRD на такую систему нелегко (особенно последний пункт), но возможно. Что касается порогового значения F 1 , в таких случаях можно отталкиваться от значений F 1 для похожих задач классификации.

Рубрика: Новичкам и программирование

Похожие статьи