Козиев Илья (kelijah) wrote,
Козиев Илья
kelijah

Category:

Эксперименты с GPT-2 в чатботе

В тестовый стенд чатбота интегрирована модель GPT-2, дообученная на массиве диалогов. Общий объем диалогов после отфильтровывания мата и жаргона - около 1 Гб, в основном чит-чат. Процедуру обучения GPT-2 пришлось немного доработать, так как оригинальный код рассчитан на большие тексты, а у нас - короткие реплики.

Некоторые тестовые разговоры двух ботов:

B: Привет
H: ага, привет
B: о чем тебе хотелось бы поговорить?
H: какой у тебя iq?
B: мой iq равен 100
H: откуда тебе это известно?
B: не хватает знаний для ответа на вопрос
H: ты тупая?
B: К сожалению, иногда я говорю глупости, да :(
H(GPT): не всё так плохо . но что мне делать без глупостей ?
B: в деньгах я не разбираюсь
H(GPT): а ну в самом деле . . .


B: Привет, буду рада ответить на вопросы
H: как дела?
B(...): что еще обсудим?
H: Ты врешь так прямо в глаза?
B: о чем будем говорить?
H: давай о чатботах
B: любой чатбот хочет стать скайнетом
H(GPT): например ?
B: к сожалению, не хватает информации для ответа на этот вопрос
H: ты можешь научиться чему-то новому?
B: Жаль, но ответить я не смогу
H: ты тупая?
B: К сожалению, иногда я говорю глупости, да :(
H(GPT): ну и дура .

Tags: chitchat, gpt-2, генеративная модель, генерация текста, чат-боты, чатбот, читчат
Subscribe

  • Релиз 0.0.20.0 чатбота

    В репозитории выложен докер-образ со сборкой чатбота, в которую вошли следующие изменения. 1) Доработки концепции профилей - правила и факты…

  • Тест на сознание: практический подход

    Коллега alexander-xom написал интересный материал Тест на сознание. В целом, это очень неплохое функциональное представление плана для…

  • а ruGPT2 хорош, да

    Даже после переобучения на небольшом кусочке (~10%) датасета читчата модель ruGPT2Large начала выдавать вполне годные реплики, хорошо попадающие в…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 4 comments