Козиев Илья (kelijah) wrote,
Козиев Илья
kelijah

Categories:

О языковой креативности в период усвоения родного языка

Только накануне я с умным видом распинался о том, что мол одно из зримых отличий генеративных нейросеток от человека в период language acquisiton - отсутствие у сеток "языковой креативности".

Кто общался с детьми, тот знает, что в определенный период они весьма активно конструируют новые слова из знакомых морфем. Например, берут некий корень, добавляют суффик и окончание и получают вполне валидное слово, адекватно передающее необходимый смысл и вписывающееся в синтаксический контект. Ну или собирают составное слово из парочки корней. Обычно это выглядит забавно, потому что получающееся слово взрослым человеком не употребляется - либо есть другое устоявшееся слово, либо... ну вот не говорят так и все.

В качестве примера - слово "колесос" для пылесоса на колесиках.

И вот разгребаю сегодня лог беседы ботов, и вижу фрагмент для генерации ответа:

заданный вопрос: где растут одуванчики?
подобранный факт: одуванчики зацвели и затенили окно
сгенернированный ответ: около затенилища


Что тут должно привлечь внимание?

Слово "затенилища". Это существительное явно собрано нейросеткой из BPE-токенов на основе глагола "затенили". Сетка применила вполне валидную модель словообразования с суфиксом -ищ- и просклоняла получившееся существительное в правильный падеж, выбрав нужное окончание -а.

Это как раз такое поведение, которое есть у детей.
Tags: language acquisition, генеративная модель, генерация текста, нейросети
Subscribe

  • Зачем нужна генерация фактов под заданный вопрос?

    Примеры такой генерации были тут. Уместно спросить, зачем кому-то в здравом уме может понадобиться такая конфабуляция? Ответ - на слайде №25 в…

  • Будут ли у роботов психические болезни?

    Увы, обязательно. Судя по всему, бред и галлюцинации - неизбежный побочный продукт любых генеративных моделей, живых и неживых. Например, вот…

  • а ruGPT2 хорош, да

    Даже после переобучения на небольшом кусочке (~10%) датасета читчата модель ruGPT2Large начала выдавать вполне годные реплики, хорошо попадающие в…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 0 comments