Козиев Илья (kelijah) wrote,
Козиев Илья
kelijah

Categories:

Артефакты переобучения или все-таки генерация уникального контента?

Играю сейчас с очередной генеративной моделью.

И вот такая проблема: глядя на выдачу, иногда невозможно достоверно понять, это просто сетка тупо вспомнила фрагмент из тренировочного датасета, или произошла желанная генерация чего-то уникального.

Разумеется, поиск по обучающему корпусу доступен, и он вроде говорит, что такого текста там нет. Но что там сетка видела на стадии предобучения, я не могу сказать.

Например, вот этот забавный диалог, который выдала сетка, точно уникальный (и создает впечатление умного, кстати):

- каковы пропорции человеческого тела ?
- пропорции не важны , важна конечность


Вот тут неопределенность больше, но вроде бы скорее уникальный текст:

Я знаю: это кошка
Поет о любви, о стране,
О счастье, о смерти на краю земли,
О верности, о страсти на краю.


А вот это скорее что-то существующее (но тоже не гуглится, кстати):

Я в детстве был мал, и котенок был
У меня на груди, и я не знал,
Как по-взрослому я был велик
И как по-птичьи я жил!



Или вот например:

Не пугайтесь. Все это сказки.
Просто на самом деле
Все волки, все волки в мире
Очень злые и бестолковые.


Текст немного (кхм) шизофреничный, но грамматически валидный, и это смущает. Попытка нагуглить подобный шедевр дает:


Tags: генеративная модель, генерация текста
Subscribe

  • Маскулинативы от NMT модели

    При просмотре результатов машинного перевода с английского на русский (с помощью OpenNMT) заметил прелестные примеры в духе толерантности и прочего…

  • Что такое волчанка?

    Иногда в беседах с ИскИнами бывает что-то такое... Вроде простая мелочь, но если вдуматься - можно найти глубокие аналогии с детским периодом…

  • Перлы мудрости

    Протыкиваю чатбот в ручном режиме (приятное дело - знай себе клацай в телегу), и вот такое забавное проскочило: PS: еще немного мудрости от…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 0 comments