Компьютерная лингвистика

Накопилось тут немного всякого в ходе отладки стихогенератора.

За этой штукой закрепилось рабочее название "инфракрасная бурда" как намек на красную бурду с привкусом технологичности.

Двустрочники:
( Collapse )

Однострочники:
( Collapse )

И многострочный плагиат:
( Collapse )

Стихогенератор - из лучшего на актуальные темы:

Где родился, там и заразился

Щи да каша чума наша

Новое брюхо к лечению глухо

И напоминание для аллергиков (лето ведь еще не отменили):

На каждый цветок не накинешь платок

 

Сочетание 1) генератора текста на заданную тему и 2) модели оценки "забавности".

Тема - ключевые слова "эпидемия новый вирус начаться китай вакцина карантин"

( Collapse )

Далее - выдача перетренированной генеративной языковой модели GPT-2.

Для некоторых слов даны результаты при повышенной (t=1.2) или пониженной (t=0.8) температуре.

Жирным выделены слова, для которых модель генерировала толкование.

Стоит обратить внимание, что только 2 из разобранных слов встречались модели в ходе обучения (кошачий и свинячий). Для остальных модель честно опиралась на морфемный состав настолько, насколько это позволило "byte pair encoding" представление токенов.

( Collapse )

Смотрю на текущие результаты сэмплирования из обучающейся языковой модели GPT-2 в варианте с  117M параметрами. Иногда проскакивают забавные словечки, получающиеся из-за склейки bpe-токенов. С некоторыми натяжками выглядят так, будто модель уже знает общие правила русского словообразования и словоизменения, но ошибается с правильным выбором морфем:
( Collapse )

Доработка кода применения диалоговых правил в чатботе позволяет теперь немного более удобно задавать ответы в случае, когда в базе знаний и FAQ нет релевантной информации:
( Collapse )

Дополнительно к этому реализован небольшой эксперимент с обработкой odqa-вопросов:
( Collapse )

Сейчас в коде поставлена заглушка. Но по задумке эти нормализованные запросы можно будет обрабатывать через SPARQL-движок.

Дано. Две базы данных Oracle 11.2g в виртуальных машинах.
( Collapse )