Компьютерная лингвистика

Далее - выдача перетренированной генеративной языковой модели GPT-2.

Для некоторых слов даны результаты при повышенной (t=1.2) или пониженной (t=0.8) температуре.

Жирным выделены слова, для которых модель генерировала толкование.

Стоит обратить внимание, что только 2 из разобранных слов встречались модели в ходе обучения (кошачий и свинячий). Для остальных модель честно опиралась на морфемный состав настолько, насколько это позволило "byte pair encoding" представление токенов.

( Collapse )

Смотрю на текущие результаты сэмплирования из обучающейся языковой модели GPT-2 в варианте с  117M параметрами. Иногда проскакивают забавные словечки, получающиеся из-за склейки bpe-токенов. С некоторыми натяжками выглядят так, будто модель уже знает общие правила русского словообразования и словоизменения, но ошибается с правильным выбором морфем:
( Collapse )

Доработка кода применения диалоговых правил в чатботе позволяет теперь немного более удобно задавать ответы в случае, когда в базе знаний и FAQ нет релевантной информации:
( Collapse )

Дополнительно к этому реализован небольшой эксперимент с обработкой odqa-вопросов:
( Collapse )

Сейчас в коде поставлена заглушка. Но по задумке эти нормализованные запросы можно будет обрабатывать через SPARQL-движок.

Дано. Две базы данных Oracle 11.2g в виртуальных машинах.
( Collapse )