Компьютерная лингвистика

Мир несправедлив, в том числе в объеме доступных русскоязычных датасетов для NLP.
В связи с ростом качества нейросетевых систем машинного перевода возникает мысль прогонять тексты через такой переводчик.
Я взял OpenNMT и en-ru модель отсюда.
На входе - англоязычные диалоги.

Результаты:

- Hello!
- Hi! How are you?
- Not bad! And You?
- I'm doing well. Just got engaged to my high school sweetheart.
- Wowowowow! Congratulations! Is she pretty?
- She 's pretty cute. She invited me to dinner tonight. 🙂
- Cool! Have a good time you both! And what is your hobby?
- I love music! I love Taylor swift. 😉
- Me too. And what about Iggy Pop?
- I love Ziggy! He is my favorite. Are you and your wife millennial too?
- I have no wife. And I'm not millenial, I'm X generation. Hey? Where are you?
- I am sorry to hear that. What do you do for fun?
- I'm playing pipe organ.
- That sounds impressive. I like to go out to eat with my friends.
- Cool! See ya!
----------------------------------------------------
- Здравствуйте!
- Привет! Как дела?
- Неплохо!
- У меня все хорошо.
- Воовы! Поздравляем!
- Она довольно симпатичная.
- Классно провели время вместе!
- Я люблю музыку! Я люблю Тейлор Свифт.
А что насчет Игги Попа?
- Я люблю Зигги! Он мой любимый.
- У меня нет жены. И я не милленал, я - Х поколение.
- Мне очень жаль это слышать.
- Я играю на органе.
- Звучит впечатляюще.
- Круто!

Временами появляется бред, но его не так уж много, так что ручная модерация должна помочь:

- Я разработчик программного обеспечения.
- О, круто.
- Я танцую барабан и базу!

Цель

Овладеть искусством (или мастерством) генерации рэпа на заданную тему.

Я ожидал, что это будет попроще, чем онегинская строфа, но не тут-то было :) Приходится идти небольшими шагами, перебирая множество подходов.
( Collapse )
PS: и немного свежей выдачи стихогенератора на тему программистов-лингвистов:
( Collapse )

В продолжение работы над составными прилагательными, в грамматическом словаре выполнена чистка русского лексикона от большого количества составных существительных.

( Collapse )

После небольшой обработки напильничком для фразы "я умею говорить по-русски" получается такая озвучка:

( Collapse )

Надо еще добавить хранение озвучки для словосочетаний, чтобы для отдельных частых случаев получалось русское ударение и не было пауз между словами "пó лесу", "передо мной".

В принципе, меня устраивает даже такое качество речи. Для игрушечных гигантских человекоподобных роботов - самое то.

Переделал страничку http://178.64.252.139:8080/Morphology.aspx

( Collapse )

Далее - примерный перечень работ над движком на перспективу полгода-год.

( Collapse )