?

Log in

No account? Create an account

Компьютерная лингвистика

Новостная лента www.solarix.ru

Previous Entry Share Next Entry
Чатбот в первом классе: склонность понемногу ошибаться как отличительная черта
kelijah
Проверяю результаты обучения моделей чатбота с добавленными арифметическими примерами. Опять просматривается замеченная ранее склонность давать ответ "примерно похожий на то, что нужно". Когда ответ подразумевает число, бот действительно выдает какое-то число, обычно близкое к верному:

Premise[0]:  у меня было 2 абрикоса
Premise[1]:  два абрикоса я отдал ире
Question:     сколько теперь у меня абрикосов
True answer:  0
Model answer: 1

Question:     что получится если из 1 вычесть 1
True answer:  0
Model answer: 1

Premise[0]:  ваня пил чай один раз утром и три раза вечером
Question:     сколько раз ваня пил чай
True answer:  4
Model answer: 3


Premise[0]:  на столе одна синяя ручка и девять красных
Question:     сколько всего ручек на столе
True answer:  10
Model answer: 6

Question:     сколько получится если 1 прибавить к 5
True answer:  6
Model answer: 5

Premise[0]:  на столе одна синяя ручка и одна красная
Question:     сколько всего ручек на столе
True answer:  2
Model answer: 4

Premise[0]:  на столе девять синих ручек и девять красных
Question:     сколько всего ручек на столе
True answer:  18
Model answer: 15



При этом никаких особых "приспособлений" и явного кодирования для арифметики в модели конечно нет, в чем легко убедится по исходному тексту. С одной стороны, формально это не совсем то, что хотелось бы получать в результате нескольких часов обучения нейросетки на сотнях процессоров GPU. С другой, именно так себя ведут естественные реализации ИИ. Тот, кто занимался обучением арифметике маленьких детей, знает, что в зависимости от мотивации, настроения и просто опыта ребенок может ошибиться, ответить неверно назло или шутя, или просто быть невнимательным. Конечно, бот лишен всех этих аспектов поведения, поэтому его реакции более детерминированы и просты.