Козиев Илья (kelijah) wrote,
Козиев Илья
kelijah

Categories:

Дислексия в чатботе с Трансформером

Небольшой забавный момент с результатами работы модели Трансформера в чатботе (предыдущий пост о модели).
Фрагмент листинга с целевыми (true) и сгенерированными (model) ответами на вопросы:

true-> платье                        model-> платье платье
true-> сторону цивилизации           model->готовредтелредизации цивилизации цивилизации цивиллейвиллейсателсателса двилтелектелектелекредтелредничек
true-> няньки                        model-> няньнькинькиньняньня
true-> отлично                       model-> отлично отлично
true-> 23 часа 44 минуты             model-> 23мар 4мар4 минуты армия саммарская 4 часа 23 часатолны
true-> балхаш                        model-> балхашашачахаха
true-> другой                        model-> другой другой другой другой отчая другой другой другой другой настроение
true-> на ребят                      model-> на ребят на ребят на ребят на ребят на ребят на ребят на ребят на ребят на ребят на ребят на ребят на ребят на ребят на ребят на ребят на ребята ребят
true-> ученье                        model-> ученье ученье ученье у внимание
true-> интереснейшие архитектурные памятники model-> интерес компьютершие архахскохрапные арнейжию дюканные тректельно банкуканекгаюшекунную семейекх



Вот эти "заикания", бесконечные повторения, иногда с вариациями как-то характерны именно для модели Транформера, в RNN такого я не встречал.
Tags: nlp, transformer, нейросети, чатбот
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 0 comments