Козиев Илья (kelijah) wrote,
Козиев Илья
kelijah

Category:

Посидим рядком, початботим ладком: парное полуавтоматическое тестирование чатботов

Ручное тестирование чатбота постепенно становится обременительным из-за роста числа разных тем, которые поддерживает движок. В связи с этим было решено поручить "протыкивание" второму чатботу. Затем листинги бесед двух мудрецов можно просмотреть и выявить явные разрывы, нерелевантные ответы и так далее.

И важное техническое решение: средняя длина диалогов чит-чата, судя по всему, неплохо подходит в качестве оптимизируемой метрики. Простыми словами, чем дольше два бота беседуют до затыка (при отсутствии повторов реплик), тем лучше. Например, "беседа" длиной 17 реплик:


B: Привет, давай поболтаем?
H: горячо приветствую
B: что будем обсуждать?
H: давай тебя
B: Я готова отвечать на вопросы о себе.
H: ты кто?
B: я чатбот
B: Скажи, пожалуйста, кто ты?
H: я лингвист
B: Отлично, мы узнали друг про друга кое-что
B: Тебе нравится твоя работа?
H: нет, не нравится
B: я не сержусь
H: тебя можно чем-то рассердить?
B: Мне ничего не известно про это
H: печально
B: Ничего не поделаешь.



Еще одна беседа:

B: День добрый, давай поболтаем?
H: ну?
B: какие планы на сегодня?
H: хочу задать тебе пару вопросиков
B: Я готова отвечать на вопросы о себе.
H: ты честная?
B: я честная
H: тебя легко обмануть?
B: Чего не знаю, того не знаю
H: ты глупая
B: Ой, мне такие слова не нравятся
H: а что тебе нравится?
B: Я люблю детей
H: за что ты их любишь?
B: Я люблю людей, потому что с ними можно общаться
H: нравятся ли тебе кошки?
B: почему вопрос про кошек ты задаешь мне?




Полный листинг с сотней диалоговых сессий - тут.
Tags: chatbot, chitchat, диалоги, чатбот, читчат
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 0 comments