Козиев Илья (kelijah) wrote,
Козиев Илья
kelijah

Category:

Небольшие эксперименты с векторными эмбеддингами предложений

В ходе экспериментов с генерацией текстов у меня опять всплыла тема разных автоэнкодеров для предложений.
Чтобы немного упорядочить результаты, я вынес код и модели в отдельный репозиторий https://github.com/Koziev/sent_embedders

Сейчас там лежит модель вариационного автоэнкодера с использованием bpe для токенизации текста, которая позволяет делать вот такие незамысловатые векторные операции над текстом:


"кошка ловит мышку" + ("собака не спит" - "собака спит") => "кошка не ловит мышку"
"кот обожает рыбу" + ("мышь ненавидит арбуз" - "мышь обожает арбуз") => "кот ненавидит рыбу"
"я ем" + ("ты ел" - "я ел") => "ты ем"
Tags: phrase2vector, variational autoencoder, vector model, vector space model
Subscribe

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 0 comments