Козиев Илья (kelijah) wrote,
Козиев Илья
kelijah

Categories:

Текущие задачи, решенные в чатботе плохо или не решенные вообще

Зафиксировал текущее состояние всех алгоритмов чатбота релизом 0.0.0.12. Как и раньше, это proof-of-concept, работающий на очень ограниченном domain'е, прежде всего "здрасьте - как вас зовут". В релизе добавлены новые правила и доработан workflow чатбота, что позволяет отрабатывать такие тестовые диалоги:

B:> Добрый день
H:> меня зовут Аркадий
B:> Аркаша, хочешь что-нибудь рассказать мне?
H:> я люблю компьютерные игры
B:> В какую игры ты играешь сейчас?
H:> а тебя как зовут?
B:> кеша
H:> как зовут меня?
B:> аркадий




А теперь - перечень задач, решенных в чатботе плохо или не решенных вообще.

(*) Низкое качество Интерпретатора, он часто выдает мусор, мешая последующим моделям в pipeline.

(*) Верификатор синтаксиса и модератор семантики - пока плохо ранжирует сгенерированные фразы по их валидности (грамматичность + разумность с точки зрения common sence).

(*) Нет модели entailment'а, чтобы оценивать, насколько хорошо реплика вписывается в канву диалога.

(*) Нет обучения просто на реальных диалогах.

(*) Генеративная грамматика работает достаточно медленно, надо переводить на PyPy, скорее всего.

(*) Нет правил описания "workflow" в диалоге.

(*) Сетевая подсистема отсутствует - текущая реализация веб-сервиса на Flask ненадежна с tensorflow и нужно делать генерацию реплик асинхронной, например через фоновый воркер на Redis + push уведомления веб-клиента о сгенерированных ответах чатбота. Кроме того, возможно следует проанализировать интеграцию с сетевой частью RASA, чтобы не писать велосипеды.

Tags: чатбот
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 0 comments