?

Log in

No account? Create an account

Компьютерная лингвистика

Новостная лента www.solarix.ru

Генеративная модель формирования ответов интегрирована в движок чатбота
kelijah
(В продолжение темы "Машина Хомского")
В основной код чатбота перенесен весь алгоритм построения ответа с помощью "вероятностной машины Хомского". Движок построения ответа перекроен, чтобы эффективно использовать новые сеточные модели, в частности модель оценки релевантности ответа при заданных предпосылках и вопросе.
Докер-контейнер с новой версией чатбота заметно потяжелел, поэтому надо будет подумать об оптимизации добавленных словарей.

Датасет для тренировки модели синонимичности
kelijah
В репозиторий добавлена часть датасета для тренировки модели синонимичности.
Чтобы переобучить модель после изменений этого датасета, нужно выполнить скрипт train_lgb_synonymy.sh.

Аналогичный датасет для модели релевантности вопроса и предпосылки был выложен ранее. Переобучение этой модели запускается скриптом train_lgb_relevancy.sh