?

Log in

No account? Create an account

Компьютерная лингвистика

Новостная лента www.solarix.ru

Previous Entry Share Next Entry
Небольшое сравнение качества двух сетевых моделей определения синонимичности фраз
kelijah
Модель №1 - нейросетка с triple loss nn_synonymy_tripleloss.py
Модель №2 - нейросетевой бинарный классификатор nn_synonymy.py
Модели обучаются на идентичном датасете, содержащем ~60 тысяч пар синонимичных предложений.
При тестировании каждая модель ранжирует предложения из тестового списка по близости к вводимой строке. Выводится 10 ближайших предложений.

Результаты для модели №1


phrase:> к стоматологу меня запиши
0.9565 запиши меня к стоматологу
0.9242 запиши меня к окулисту
0.8771 запиши меня к врачу
0.8415 запиши меня к моему психотерапевту
0.8188 можно ли заплатить за изоленту наличными
0.8028 ты уже в четвертый перешла
0.7972 здраствуй
0.7620 ты ей письмо написал
0.7613 у тебя появилась кое какая информация
0.7599 аварийное освещеньице включи


phrase:> вызови такси
0.9018 вызвать такси
0.8933 вызови скорую помощь
0.8870 вызови скорую
0.8366 скору вызови
0.8053 вызвать скорую
0.7687 запусти главный сервак
0.7684 зайти в лифт
0.7659 выполни отключение резервного сервака
0.7566 заставь работать главный сервак
0.7453 отключи резервный сервак


phrase:> гороховый супчик разогрей
0.9071 разогреть гороховый суп
0.8623 разогреть пиццу
0.8588 разогреть щи
0.8492 сварить зеленый чай
0.8347 разогреть борщ
0.8195 сварить рисовую кашу
0.8116 сварить перловую кашу
0.8093 сварить кофе
0.8047 подогреть пиццу с грибами
0.8034 подогреть пиццу с колбасой

phrase:> вызови, пожалуйста, скорую
0.9211 вызови скорую
0.8995 вызови скорую помощь
0.8754 вызвать скорую
0.8386 заставь работать главный сервак
0.8217 выключить фоновую музыку
0.8207 заказать пиццу с анчоусами
0.8161 скору вызови
0.8134 включить спокойную фоновую музыку
0.8112 хочешь заказать две пиццы
0.8095 заставь неисправный сервак выключиться

phrase:> будь добр, свет в коридоре включи
0.9116 включить свет в коридоре
0.8949 включить свет в туалете
0.8888 включить свет в ванной
0.8836 выключить свет в коридоре
0.8658 выключить свет в туалете
0.8610 выключить свет в ванной
0.8509 идти в оранжерею
0.8452 войди в лифт
0.8424 иди в оранжерею
0.8387 проверь заряд батареи в ноутбуке

phrase:> зеленого чаю завари мне
0.9226 сварить зеленый чай
0.8964 сварить рисовую кашу
0.8813 сварить перловую кашу
0.8735 сварить манную кашу
0.8608 еда в школе вкусная
0.8571 тебе хочется заказать две пиццы
0.8562 заказать пиццу с анчоусами
0.8515 разогреть гороховый суп
0.8510 разогреть щи
0.8497 сварить геркулесовую кашу

phrase:> рисовую кашку мне сделай
0.9431 сварить рисовую кашу
0.9268 сварить перловую кашу
0.9161 сварить манную кашу
0.8988 приготовить рисовую кашу
0.8966 сварить геркулесовую кашу
0.8708 сварить зеленый чай
0.8578 тебе хочется заказать две пиццы
0.8524 заказать пиццу с анчоусами
0.8511 сварить кофе
0.8386 разогреть пиццу

phrase:> в лифт пожалуйста войди
0.9434 в лифт войди
0.9176 войди в лифт
0.8797 в лифт зайди
0.8720 включить свет в коридоре
0.8601 включить свет в туалете
0.8585 идти в оранжерею
0.8406 включить свет в ванной
0.8379 дверку в коридор открой
0.8326 открыть дверку в коридор
0.8282 выключить свет в коридоре

phrase:> в оранжерею топай
0.9083 иди в оранжерею
0.9020 идти в оранжерею
0.8959 в оранжерею иди
0.8852 пройди в оранжерею
0.8561 в лифт войди
0.8553 войди в лифт
0.8470 дверку в коридор открой
0.8279 открой дверь в коридор
0.8229 зайди в помещение лифта
0.8186 открыть дверку в коридор


phrase:> завари мне черный чай
0.9664 сварить зеленый чай
0.9040 сварить рисовую кашу
0.9034 сварить перловую кашу
0.9032 тебе хочется заказать две пиццы
0.8752 приготовить крепкий черный чай
0.8719 сварить манную кашу
0.8603 сварить геркулесовую кашу
0.8580 приготовить рисовую кашу
0.8574 хочешь заказать две пиццы
0.8526 сварить кофе


phrase:> свари мне кофе
0.9117 сварить кофе
0.8791 сварить манную кашу
0.8523 сварить рисовую кашу
0.8462 заказать пиццу с анчоусами
0.8458 сварить перловую кашу
0.8414 тебе хочется заказать две пиццы
0.8390 у тебя горло болит
0.8288 тебе 5 лет
0.8246 тебе 6 лет
0.8234 сварить зеленый чай

phrase:> включи спокойную музыку
0.9257 включить спокойную фоновую музыку
0.8250 включи аварийное освещение
0.8141 включи главный серверок
0.8130 выключить фоновую музыку
0.7922 включи главный сервак
0.7884 а давай поиграем
0.7858 а давай сыграем
0.7789 давай поиграем
0.7729 вызвать скорую
0.7674 открой входную дверь

phrase:> имя свое назови
0.9736 назови свое имя
0.7917 ты ведь говорил мне
0.7857 ты уже это говорил
0.7842 мы с тобой не знакомы
0.7813 ты же нам говорил
0.7803 ты нас кое чему научишь
0.7727 ты ей письмо написал
0.7650 ты ж нам говорила
0.7644 и ты его выучил
0.7628 ты уже мне говорил


phrase:> шагни вперед
0.8491 поверни вправо
0.8304 сделать два шага вперед
0.8281 войди в лифт
0.8259 поверни влево
0.8145 включить свет в коридоре
0.8091 сделать один шаг вперед
0.8060 включи главный серверок
0.8054 в лифт войди
0.8043 запусти главный сервер
0.7960 включить свет в ванной


С ОПЕЧАТКАМИ:

phrase:> в аранжирею топай
Word аранжирею missing in wordchar2vector model
0.8560 в оранжерею отправляйся
0.8413 ты уже в четвертый перешла
0.8340 запиши меня к окулисту
0.8333 в лифт войди
0.8308 ты ходишь в школу
0.8269 в лифт зайди
0.8260 помрешь ты от голода
0.8249 ты кушаешь в школе
0.8176 запиши меня к стоматологу
0.8144 включить свет в туалете

phrase:> в каридоре свет включи
Word каридоре missing in wordchar2vector model
0.9148 включить свет в туалете
0.9031 включить свет в коридоре
0.9030 выключить свет в туалете
0.8886 выключить свет в коридоре
0.8792 включить свет в ванной
0.8629 выключить свет в ванной
0.8555 войди в лифт
0.8464 в лифт войди
0.8454 проверь заряд батареи в ноутбуке
0.8430 включи резервный генератор




Результаты для модели №2

phrase:> к стоматологу меня запиши
0.9997 запиши меня к моему психотерапевту
0.9997 ты немного неточно написала
0.9991 ты приготовил вам сюрприз
0.9989 ты просишь прощения за кучу вопросов
0.9976 а ты будешь капитаном
0.9973 запиши меня к стоматологу
0.9972 ты обязательно мне перезвонишь
0.9960 тебе не нравится читать книги
0.9954 ты не любишь книги читать
0.9936 ты с радостью ответишь на все ваши вопросы

phrase:> вызови такси
0.9990 вызвать такси
0.9978 зайди в лифт
0.9943 в лифт зайди
0.9903 зайти в лифт
0.9793 войди в лифт
0.9262 зайди в помещение лифта
0.9209 войти в лифт
0.8931 доложи про обстановку на базе
0.8647 что происходит на первой палубе
0.7210 расскажи об обстановке на базе


phrase:> гороховый супчик разогрей
0.9997 разогреть гороховый суп
0.9992 сварить рисовую кашу
0.9987 разогреть пиццу
0.9974 сварить кофе
0.9973 подогреть пиццу с грибами
0.9972 приготовить рисовую кашу
0.9874 сварить зеленый чай
0.9824 тебе хочется заказать две пиццы
0.9798 подогреть пиццу с колбасой
0.9596 сварить перловую кашу

phrase:> вызови, пожалуйста, скорую
0.9988 скору вызови
0.9985 а давай сыграем
0.9980 вызови скорую
0.9974 проверить баланс телефона
0.9971 давай поиграем
0.9971 а давай поиграем
0.9968 доложи про обстановку на базе
0.9968 отменить входящий звонок
0.9966 вызови скорую помощь
0.9935 давай поиграем в шашки

phrase:> будь добр, свет в коридоре включи
0.9984 ты села на табуретку
0.9967 включить свет в ванной
0.9914 разогреть пиццу
0.9911 выключить свет в ванной
0.9899 включить свет на кухне
0.9870 включить свет в туалете
0.9857 выключить свет в туалете
0.9836 тебе хочется заказать две пиццы
0.9796 выключить свет на кухне
0.9712 включить свет в коридоре

phrase:> зеленого чаю завари мне
0.9999 приготовить крепкий черный чай
0.9998 сварить зеленый чай
0.9969 подогреть пиццу с колбасой
0.9839 разогреть щи
0.9800 разогреть пиццу
0.9565 найти рецепт приготовления грибного супа
0.9479 заказать пиццу с анчоусами
0.9308 ты со сметанкой любишь
0.8939 сварить геркулесовую кашу
0.8789 разогреть гороховый суп


phrase:> рисовую кашку мне сделай
0.9977 ты кофе любишь
0.9970 ты макароны любишь
0.9944 разогреть щи
0.9938 ты хочешь пиццу
0.9907 ты жирное любишь
0.9894 сварить манную кашу
0.9870 сегодня ты вымоешь посуду
0.9863 пиццу ты очень любишь
0.9826 ты мяско любишь
0.9764 ты очень любишь квас

phrase:> в лифт пожалуйста войди
0.9991 зайти в лифт
0.9988 войди в лифт
0.9987 зайди в лифт
0.9976 войти в лифт
0.9970 в лифт зайди
0.9951 дверку в коридор открой
0.9923 включить свет в коридоре
0.9914 выполни вход в лифт
0.9914 в лифт войди
0.9907 включить свет в туалете


phrase:> в оранжерею топай
0.9991 пройди в оранжерею
0.9979 иди в оранжерею
0.9978 идти в оранжерею
0.9939 в оранжерею отправляйся
0.9915 ты достанешь пять бутылок
0.9906 в оранжерею иди
0.9867 можно ли отравится синей изолентой
0.8853 сколько стоит рулон изоленты
0.7908 приготовить рисовую кашу
0.6792 где изготавливается синяя изолента


phrase:> завари мне черный чай
1.0000 приготовить крепкий черный чай
1.0000 сварить зеленый чай
0.9999 подогреть пиццу с колбасой
0.9969 заказать пиццу с анчоусами
0.9963 найти рецепт приготовления овощного рагу
0.9922 разогреть пиццу
0.9913 найти рецепт приготовления грибного супа
0.9808 подогреть пиццу с грибами
0.9747 ты со сметанкой любишь
0.8690 сварить кофе

phrase:> свари мне кофе
0.9999 сварить кофе
0.9997 разогреть пиццу
0.9983 тебе хочется заказать две пиццы
0.9967 хочешь заказать две пиццы
0.9944 разогреть щи
0.8929 приготовить крепкий черный чай
0.8003 ты кофе любишь
0.6969 сварить зеленый чай
0.5370 подогреть пиццу с колбасой
0.4409 ты хочешь пиццу

phrase:> включи спокойную музыку
0.9975 ты измерила их ширину
0.9883 включить спокойную фоновую музыку
0.9843 ты очень любишь гвозди
0.9842 ты хочешь волшебную палочку
0.9818 ты просто обожаешь лыжи
0.9747 ты хорошо плаваешь
0.9716 учушься ты прилично без троек
0.9700 ты любишь пасмурную погоду
0.9650 ты любишь движение
0.9520 ты неплохо водишь машину

phrase:> имя свое назови
0.9999 назови свое имя
0.9994 ты помнишь об этом
0.9991 сейчас ты нам расскажешь
0.9985 ты ответишь на ваш вопрос
0.9974 сейчас ты мне расскажешь
0.9966 как тебя зовут
0.9965 сейчас ты нам объяснишь
0.9959 сейчас ты объяснишь все
0.9955 ты на урок опоздаешь
0.9948 это ты сказал себе

phrase:> шагни вперед
0.9925 сделать один шаг вперед
0.9803 сделать два шага вперед
0.8831 поверни влево
0.8749 поворот влево
0.8540 остановись
0.8445 подождать одну минуту
0.5059 ты боишься уколов
0.4220 ты окончательно запуталась
0.4209 вызвать скорую
0.3793 подождать две минуты

phrase:> в аранжирею топай
Word аранжирею missing in wordchar2vector model
0.9991 спать хочешь
0.9885 хочешь спать
0.9850 скору вызови
0.9819 в лифт войди
0.9646 вызвать скорую
0.9508 вызови скорую
0.9389 а давай сыграем
0.9150 а давай поиграем
0.8921 что творится на базе
0.8795 войди в лифт

phrase:> в каридоре свет включи
Word каридоре missing in wordchar2vector model
0.9763 сколько стоит рулон изоленты
0.9706 открой дверь в коридор
0.9569 дверку в коридор открой
0.9481 открыть дверь в коридор
0.9316 ты села на табуретку
0.9026 идти в оранжерею
0.8755 можно ли отравится синей изолентой
0.8609 открыть дверку в коридор
0.8202 выполни вход в лифт
0.8079 зайди в помещение лифта



  • 1
А если прибить веса в симметричных частях уже обученной первой сети с Triplet loss на выходе. Обрезать блок с Triplet loss и поставить вместо него бинарный классификатор. Сможет ли он принципиально обучиться и заменить блок с Triplet loss?

Угу, пробовал так делать, качество не выросло. Возможно потому, что обучающих данных относительно мало - около 60 тысяч пар предложений-перефразировок.

А все варианты https://keras.io/layers/merge/ испытать удалось?

>А все варианты https://keras.io/layers/merge/ испытать удалось?

Кстати нет, только concatenate. Может стоит проверить и dot product + разницу, раньше это иногда хорошо заходило.

  • 1