Козиев Илья (kelijah) wrote,
Козиев Илья
kelijah

Categories:

Получение sparse distributed representation для слов с помощью автоэнкодера

Ранее (http://kelijah.livejournal.com/197813.html) я описывал алгоритм получения SDR из word2vec векторов через факторизацию матрицы.

Далее опишу более прямой и проще модифицируемый способ получения SDR для слов с помощью deep learning автоэнкодера.

Часть 1. Сеточная модель

На входе алгоритма будут цепочки символов, представляющие валидные слова. Их можно без проблем собрать из большого текстового корпуса. А я просто взял список словоформ из SQL словаря. В любом случае, мы будем использовать небольшую часть всех возможных комбинаций символов, поэтому имеем право ожидать от модели, что она найдет какие-то интересные статистические закономерности.

Слова приводим к нижнему регистру, оставляем только те, в которых 32 кириллические буквы.

Определяем максимальную длину слова, у меня получилось 29 символов.

Каждое слово будем представлять как длинный вектор битов - 29 кусочков по 32 бита. Все биты нулевые, кроме тех, которые соответствуют символам. Если слово короче 29 символов, то пустые символы оставляют соответствующие блоки полностью нулевыми.

Далее, строим сеточную модель с помощью Keras. Это будет автоэнкодер, который на вход берет битовый вектор слова длиной чуть меньше 1000 разрядов, что-то с ним делает, и в качестве выходного вектора использует этот же самый вектор.

Сам по себе входной вектор, полученный из преобразования символов в 1-hot представление, является сильно разреженным. Но мы пойдем глубже - пусть из него получается sparse вектор длиной 4096.

Чтобы автоэнкодер занимался чем-то полезным, а не просто копировал входы на выходы, добавим в модель Drop-out и наложим достаточно сильную регуляризацию на активность sparse-слоя. На самом деле, как нетрудно убедиться, без дропаута модель вообще отказывается сходиться к какому-то результату, так что это не просто усилитель алгоритмического вкуса, а базовый компонент блюда.


model = Sequential()

model.add( Dense( input_dim=input_size, output_dim=128, activation='relu' ) )
model.add( Dropout(0.1) )
model.add( Dense( output_dim=SPARSE_SIZE, activation='sigmoid', activity_regularizer=regularizers.activity_l1(1e-7) ) )

model.add( Dropout(0.01) )
model.add( Dense( output_dim=output_size, activation='sigmoid' ) )

model.compile(loss='mse', optimizer='rmsprop')


Первый афинный слой, кстати, тоже важен. Как показано на кусочке исходника, я ставлю для него ReLU активацию. Если задать sigmoid, то модель перестает сходится или будет сходиться очень медленно! И что интереснее, без этого начального слоя модель тоже отказывается работать. В общем, входной слой как-то перемешивает исходный вектор, и уже эта активность поступает на широченный слой с regularizers.activity_l1.

Величина регуляризации очень сильно влияет на количество единичных битов на выходе слоя, поэтому ее надо подбирать вручную. Например, указанное значение 1e-7 приводит к тому, что гистограмма активности на этом слое имеет такой вид:

histo=[ 9.715 0.029 0.018 0.013 0.012 0.011 0.011 0.012 0.016 0.163 ]

В этих 10 интервалах накоплено относительное кол-во разрядов от 0 до 1. Видно, что использованная L1 регуляризация вынуждает разряды иметь значения либо около 0 (таких накоплено 9.715), либо около 1 (0.163). Уменьшение activity_regularizer будет приводить к тому, что доля единичных разрядов будет расти, а нулевых - уменьшаться, а промежуточные значения будут по-прежнему редки.

Часть 2. Визуализация

После некоторого количества эпох обучения на миллионе слов модель стабилизируется - ошибка восстановления входного вектора перестает уменьшаться и гистограмма активности на sparse-слое перестает меняться.

Теперь возникает второй вопрос - что, собственно, делает автоэнкодер с исходным вектором слова?

Для сверточных сеток, работающих с изображениями, придуманы разные способы визуализации происходящих на скрытых слоях процессов. Для текстовых данных придумать аналог не так-то просто, в силу крайней дискретности материала.

В целом, задачу можно сформулировать так. Нас интересует, что надо подать на вход модели, чтобы на sparse слое некий разряд принял значение 1, а остальные разряды остались 0.

Я сначала попробовал использовать оптимизационный подход. Рассматриваем вектор слова, подаваемый на вход модели, как свободную переменной, значение которой мы подбираем, чтобы оптимизировать оценочную функцию. В качестве оценочной функции берем евклидово расстояние между активностью на sparse слое и 1-hot вектором, в котором единственный единичный разряд соответствует нужному.

Этот подход, однако, не заработал. По всей видимости, зависимость оценочной функции от входного вектора в таком многомерном пространстве (таки размерность в 1000 великовата!) настолько сильно изобилует локальными минимумами, что градиентный спуск не способен ничего сделать.

Поэтому был опробован второй подход. Набор слов, на которых обучалась модель, нарезаем на шинглы - цепочки символов по 1...4 символа с разных позиций слова. Получается около полумиллиона разных шинглов, если учитывать начальную позицию цепочки в слове. Далее, каждый шингл считаем входным словом, то есть подаем его вектор на вход модели. Смотрим активность на выходе sparse-слоя. Сделав это для всех шинглов, можем отсортировать шинглы по активности интересующего разряда и напечатать top-10 лучшых шинглов. В итоге получим 4096 наборов по 10 шинглов. Эти наборы должны показать какую-то корреляцию между входными частями слов и разрядами SDR.

Получается вот такая штука (далее top-10 лучших шинглов для некоторых разрядов в SDR).

Иногда четко видны корреляции с парой символов:

sparse bit #1
  зате                       --> dist=5.99984338423 bit=1.0
 абан                        --> dist=6.35433429868 bit=1.0
  бань                       --> dist=6.56108760509 bit=1.0
  йане                       --> dist=6.68065117625 bit=1.0
  шане                       --> dist=6.71414022856 bit=1.0
  ваче                       --> dist=6.73194107601 bit=1.0
  зане                       --> dist=6.90341709459 bit=1.0
  шате                       --> dist=6.91943180887 bit=1.0
  ызне                       --> dist=7.18688183608 bit=1.0
  вань                       --> dist=7.1895918083 bit=1.0


Или так:

sparse bit #2
коцу                         --> dist=10.6228062821 bit=0.999526083469
клай                         --> dist=10.0624009173 bit=0.999409794807
крой                         --> dist=9.56251912028 bit=0.999394774437
вуай                         --> dist=10.5085730819 bit=0.999361097813
куцу                         --> dist=10.5194808416 bit=0.999356091022
азой                         --> dist=11.5924327292 bit=0.999325454235
алой                         --> dist=11.0477046337 bit=0.999212026596
взой                         --> dist=10.55505118 bit=0.999177515507
коул                         --> dist=12.8998473139 bit=0.998905420303
  цере                       --> dist=7.55837048252 bit=0.998848438263



Иногда видно, что разряд активируется при наличии одного из двух символов в разных позициях слова, например "т" и "р":

sparse bit #8
     ляти                    --> dist=16.2157744467 bit=1.0
     лята                    --> dist=17.0978813926 bit=1.0
      итик                   --> dist=20.4211268968 bit=1.0
       таем                  --> dist=21.1132596519 bit=1.0
       тика                  --> dist=21.2346503211 bit=1.0
           ржде              --> dist=23.1428299375 bit=1.0
        игур                 --> dist=23.355822994 bit=1.0
        ирур                 --> dist=23.5305242446 bit=1.0
        ьгир                 --> dist=23.7158076728 bit=1.0
         кард                --> dist=23.7376820857 bit=1.0


И в таком духе 4096 разрядов.

Исходник на питоне лежит по ссылке: http://www.solarix.ru/for_developers/download/polygon/word2word/word2word_sparse.py
Tags: autoencoder, character language model, deep learning, keras, sparse autoencoder, sparse distributed representation, vector model, vector space model, word embedding, нейросети
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 0 comments