Козиев Илья (kelijah) wrote,
Козиев Илья
kelijah

Category:

Учебный NLP и NLP в реальной жизни

Учебный NLP - это когда разбираем хорошо написанный текст:

"Ещё при жизни Пушкина сложилась его репутация величайшего национального русского поэта"

Красота синтаксического разбора, подкрепленная всей мощью технологий и достижениями computer science и machine learning:



И вот из уютного мира хороших текстов мы попадаем в реальный мир человеческих коммуникаций, где запятая - это черный пояс по русскому языку.

"ироничные действия черта повесть " ночь перед рождеством " помогите пожалуйста !"



От такого синтаксического разбора пользы уже никакой нет - он поломан на 98%. И так для всех социальных медиа - реплики в чатботах, посты вконтакте, смс-ки, объявления на Авито. Если вам кажется, что этот пример априори слишком сложен, то вот архитипичная реплика человека в любом чатботе (сорри за лексику, это жизнь):

"Блять дайте мне живовго человека ."


Это "случай с Оливером наоборот", если обратить внимание на глагол "Блять". Ок, морфоанализатор не знает такого слова (очень зря!). А если знает все слова - это гарантия успеха? Проверим.

"Имеются запасные делали и инструкция ."


Поломано на 98%.
Tags: dependency parser, nlp, парсер, синтаксический анализатор, синтаксический разбор, чатбот
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 0 comments