?

Log in

No account? Create an account

Компьютерная лингвистика

Новостная лента www.solarix.ru

Previous Entry Share Next Entry
Случай с Оливером - парсинг несловарной лексики
kelijah
Прогнал через парсер текст "Случай с Оливером". Далее - результаты и пояснения.

Само по себе наличие "несловарных слов" не является нетипичным для текста. Но статистические особенности этой несловарности важны. Встретить в тексте новый глагол - редкое событие, если мы не читаем какую-нибудь узкоспециализированную техническую статью. А вот несловарные существительные встречаются постоянно и сбивать парсер не должны.

Вышеупомянутый текст ставит парсер в положение маленького человечка, осваивающего язык, для которого любой текст - шарада из неизвестных глаголов, прилагательных и наречий, причем неизвестно, что это именно именно глаголы, прилагательные и наречия. Как с такой задачей будет справляться вероятностная модель русской морфологии, не понимающая смысла, но знающая обычный контекст употребления грамматических форм?

Вот сам текст:

Заглонитель Ланс Оливер чуть не погиб в результате наплочения турма.
Он ехал ласкунно на лошади покровнательно от Мэнсфилда (Австралия) и увидел вахню турмов, в которой было кастожно 15 животных.
Столенно, ничего бы и не случилось, если бы собака Оливера не начала порочить на вахню.
Один из турмов – старый, крупный лователь, выбатушенный корочением собаки, бросился за ней.
Та отпешила скумановаться за лошадью, на которой сидел Оливер.
Тогда турм бросился уже на Оливера.
Он схватил подвешенца отмалснными твинами за плечи и вытокнул его на землю.
Оливер вскочил на ноги и схватил турма, пытаясь подочевать ему обкаплюжиться на хвост и таким образом принять доланское положение.
Турм подстоголками укивовых лап в ропли раскелепил на заглонителе лахту и толстый тарат.
Наконец, Оливеру удалось зайти сзади турма и поклочить его.
Однако он и сам не выландал на ногах и вместе с турмом покорновался по размежному плою горы кастожно 35 метров и упал в сорот.
Шатировка продолжалась и в сороте, пока Оливер не слеменился схватить камень и обвинить несколько сильных ударов по голове турма.
Турм был помотрен.
Рустуя кулировку с Оливером, мельбурнский падакователь Кэвенег заявил, что турмы, особенно старые лователи, наплочивают на человека, когда они, как говорится, доспонарены к стене и им некуда сополиться.
Я не помню, сказал Кэвенег, чтобы такие наплочения скамничались торцией человека, но имеется много случаев, когда турм обвичивает человеку серподины.


После парсинга я просмотрел результаты и пометил красным те несловарные лексемы, для которых парсер выбрал неверную часть речи. Заленым помечены верно опознанные формы:

Заглонитель Ланс Оливер чуть не погиб в результате наплочения турма.
Он ехал ласкунно на лошади покровнательно от Мэнсфилда (Австралия) и увидел вахню турмов, в которой было кастожно 15 животных.
Столенно, ничего бы и не случилось, если бы собака Оливера не начала порочить на вахню.
Один из турмов – старый, крупный лователь, выбатушенный корочением собаки, бросился за ней.
Та отпешила скумановаться за лошадью, на которой сидел Оливер.
Тогда турм бросился уже на Оливера.
Он схватил подвешенца отмалснными твинами за плечи и вытокнул его на землю.
Оливер вскочил на ноги и схватил турма, пытаясь подочевать ему обкаплюжиться на хвост и таким образом принять доланское положение.
Турм подстоголками укивовых лап в ропли раскелепил на заглонителе лахту и толстый тарат.
Наконец, Оливеру удалось зайти сзади турма и поклочить его.
Однако он и сам не выландал на ногах и вместе с турмом покорновался по размежному плою горы кастожно 35 метров и упал в сорот.
Шатировка продолжалась и в сороте, пока Оливер не слеменился схватить камень и обвинить несколько сильных ударов по голове турма.
Турм был помотрен.
Рустуя кулировку с Оливером, мельбурнский падакователь Кэвенег заявил, что турмы, особенно старые лователи, наплочивают на человека, когда они, как говорится, доспонарены к стене и им некуда сополиться.
Я не помню, сказал Кэвенег, чтобы такие наплочения скамничались торцией человека, но имеется много случаев, когда турм обвичивает человеку серподины.


Важное замечание: морфоанализатор на самом деле знает, что, к примеру, "ласкунно" может быть наречием. В этом легко убедиться с помощью утилиты Lexicon:

Solarix Lexicon // 13.42.11147  Win32  (build date Jun  2 2015) //

Loading dictionary from ..\bin-windows\dictionary.xml... OK 0 msec
Dictionary version=165
Type #exit to exit
: ласкунно

There are 13 projections:
#1  НАРЕЧИЕ:??? ientry=1073741876 iform=0 { СТЕПЕНЬ:АТРИБ }
#2  СУЩЕСТВИТЕЛЬНОЕ:??? ientry=1073741862 iform=0 { ОДУШ:НЕОДУШ ЧИСЛО:ЕД ПАДЕЖ:ИМ РОД:СР }
#3  СУЩЕСТВИТЕЛЬНОЕ:??? ientry=1073741862 iform=0 { ОДУШ:НЕОДУШ ЧИСЛО:ЕД ПАДЕЖ:РОД РОД:СР }
#4  СУЩЕСТВИТЕЛЬНОЕ:??? ientry=1073741862 iform=0 { ОДУШ:НЕОДУШ ЧИСЛО:ЕД ПАДЕЖ:ТВОР РОД:СР }
#5  СУЩЕСТВИТЕЛЬНОЕ:??? ientry=1073741862 iform=0 { ОДУШ:НЕОДУШ ЧИСЛО:ЕД ПАДЕЖ:ВИН РОД:СР }
#6  СУЩЕСТВИТЕЛЬНОЕ:??? ientry=1073741862 iform=0 { ОДУШ:НЕОДУШ ЧИСЛО:ЕД ПАДЕЖ:ДАТ РОД:СР }
#7  СУЩЕСТВИТЕЛЬНОЕ:??? ientry=1073741862 iform=0 { ОДУШ:НЕОДУШ ЧИСЛО:ЕД ПАДЕЖ:ПРЕДЛ РОД:СР }
#8  СУЩЕСТВИТЕЛЬНОЕ:??? ientry=1073741862 iform=0 { ОДУШ:НЕОДУШ ЧИСЛО:МН ПАДЕЖ:ИМ РОД:СР }
#9  СУЩЕСТВИТЕЛЬНОЕ:??? ientry=1073741862 iform=0 { ОДУШ:НЕОДУШ ЧИСЛО:МН ПАДЕЖ:РОД РОД:СР }
#10 СУЩЕСТВИТЕЛЬНОЕ:??? ientry=1073741862 iform=0 { ОДУШ:НЕОДУШ ЧИСЛО:МН ПАДЕЖ:ТВОР РОД:СР }
#11 СУЩЕСТВИТЕЛЬНОЕ:??? ientry=1073741862 iform=0 { ОДУШ:НЕОДУШ ЧИСЛО:МН ПАДЕЖ:ВИН РОД:СР }
#12 СУЩЕСТВИТЕЛЬНОЕ:??? ientry=1073741862 iform=0 { ОДУШ:НЕОДУШ ЧИСЛО:МН ПАДЕЖ:ДАТ РОД:СР }
#13 СУЩЕСТВИТЕЛЬНОЕ:??? ientry=1073741862 iform=0 { ОДУШ:НЕОДУШ ЧИСЛО:МН ПАДЕЖ:ПРЕДЛ РОД:СР }


Неправильный выбор делается именно вероятностной моделью part-of-speech tagger'а.