?

Log in

No account? Create an account

Компьютерная лингвистика

Новостная лента www.solarix.ru

Изменения в порядке генерации ответов в чатботе
kelijah
В коде релиза 0.0.2.2 кроме всяких правок ошибок и более точных NLP моделек сделана одна существенная модификация в генераторе ответов.
Раньше чатбот на вопросы, относящиеся к нему "лично", генерировал ответ общим алгоритмом, то есть искал релевантный факт в базе знаний, брал отуда необходимый фрагмент и строил ответ. Выглядело это примерно так:
Read more...Collapse )

Классификация интентов в чатботе - сравнение моделей ELMO, BERT и char-level linear sklearn
kelijah
Сравнение выполнялось по f1 weighted метрике на датасете с ~5100 сэмплов через 8-фолдовую кросс-валидацию. Чуть больше 70 интентов с большим дисбалансом.

Финальные результаты:

LinearSVC ~0.77
BERT        ~0.815
ELMo        ~0.817
Пояснения по моделямCollapse )

а вот простейшая seq2seq модель для генерации реплик в читчат боте что выдает
kelijah
После обучения на объединенном датасете диалогов из Толоки + мои датасеты для чатбота, модель, не учитывающая контекст, а только текст заданного вопроса, выдает такую "болтовню":
Read more...Collapse )