Козиев Илья (kelijah) wrote,
Козиев Илья
kelijah

Category:

Учебный NLP и NLP в реальной жизни

Учебный NLP - это когда разбираем хорошо написанный текст:

"Ещё при жизни Пушкина сложилась его репутация величайшего национального русского поэта"

Красота синтаксического разбора, подкрепленная всей мощью технологий и достижениями computer science и machine learning:



И вот из уютного мира хороших текстов мы попадаем в реальный мир человеческих коммуникаций, где запятая - это черный пояс по русскому языку.

"ироничные действия черта повесть " ночь перед рождеством " помогите пожалуйста !"



От такого синтаксического разбора пользы уже никакой нет - он поломан на 98%. И так для всех социальных медиа - реплики в чатботах, посты вконтакте, смс-ки, объявления на Авито. Если вам кажется, что этот пример априори слишком сложен, то вот архитипичная реплика человека в любом чатботе (сорри за лексику, это жизнь):

"Блять дайте мне живовго человека ."


Это "случай с Оливером наоборот", если обратить внимание на глагол "Блять". Ок, морфоанализатор не знает такого слова (очень зря!). А если знает все слова - это гарантия успеха? Проверим.

"Имеются запасные делали и инструкция ."


Поломано на 98%.
Tags: dependency parser, nlp, парсер, синтаксический анализатор, синтаксический разбор, чатбот
Subscribe

  • Релиз 0.0.20.0 чатбота

    В репозитории выложен докер-образ со сборкой чатбота, в которую вошли следующие изменения. 1) Доработки концепции профилей - правила и факты…

  • Тест на сознание: практический подход

    Коллега alexander-xom написал интересный материал Тест на сознание. В целом, это очень неплохое функциональное представление плана для…

  • а ruGPT2 хорош, да

    Даже после переобучения на небольшом кусочке (~10%) датасета читчата модель ruGPT2Large начала выдавать вполне годные реплики, хорошо попадающие в…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 1 comment