Козиев Илья (kelijah) wrote,
Козиев Илья
kelijah

Category:

Спин-офф: векторная модель для поиска по справочникам номенклатуры в кровавом энтерпрайзе

Пока готовятся остальные материалы по char & word language modelling, в голову проникла странная мысль. Или скорее вопрос для постановки задачи. Допустим, есть у нас набор справочников с описаниями всяких инженерных штук, типа такого:



Тут мы имеем описание для стали в виде набора пар атрибут-значение атрибута. Атрибуты могут быть текстовые "Марка материала", числовые "Плотность", диапазоны "Содержание углерода" и другие.

Нетрудно заметить, что перед нами обычная "документная" модель. В качестве виртуального документа выступает объект с неким содержанием. Если представить, что перед нами виртуальная файловая система, то мы видим файл с названием "Сталь 11ЮА ГОСТ 803-81" среди множества аналогичных файлов.

Как можно реализовать поиск в таком массиве документов на основе векторного представления документов? Можно ли использовать что-то, завязанное на SVD?

Проблема в том, что просто привести значения параметров к текстовому описания нельзя. Легко понять причину: два документа "резьба 6.00000001" и "резьба 5.99999999" будут различны в любых алгоритмах сравнения строк. Строковое представление числовой информации требует другого подхода к сравнению.

Что еще хуже того, диапазонное представление параметров - это другой тип сравнения похожести.

Другими словами, в одном документе перемешаны несколько метрик для оценки близости. И разные группы объектов могут иметь разный набор параметров, то есть разную итоговую метрику:




Поэтому нельзя просто взять текстовую визуализацию такого документа, разбить его на термы и запихнуть в LSA или даже в старый добрый обратный индекс с Jaccard coefficient.

Но очень хочется получить все бонусы векторного представления документов в виде учета семантики. Как это сделать?
Tags: vector model, vector space model, поисковый движок
Subscribe

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 4 comments