Category: философия

Эвристики в морфологическом анализаторе

Эвристики - простые эмпирические правила, соблюдающиеся почти всегда. Они позволяют в некоторых случаях сократить пространство перебора вариантов. Необходимость в таких правилах возникает исключительно из-за омономии - совпадению форм разных слов, иногда относящихся к разным частям речи.

Например, в английском языке после местоимения в именительном падеже обычно не может идти прилагательное. Есть и исключения - например We all admire beauty. Некоторые эвристики фактически являются жесткими правилами грамматики и не допускают отклонений, например после артикля  не может идти глагол, если это не ing-форма или не past participle.

Эвристики записываются как простые правила типа if контекст then приемлемо/неприемлемо. Для каждого языка они конечно свои - сейчас в английском и русском разделах примерно по полсотни таких правил.

Пример правила для русского языка - рядом с безличным глаголом не может стоять существительное в именительном падеже:

Торт надо купить.

Так как для неодушевленных существительных мужского рода именительный и винительный падежи дают совпадающие формы, то данное правило позволяет заранее отсеять явно недопустимые варианты.