Компьютерная лингвистика

Новостная лента www.solarix.ru

Colaboratory - бесплатно, медленно, сгодится для экспериментов с подбором гиперпараметров ML моделей
kelijah
За три дня экпериментов с Colaboratory лично убедился что:

1) Заливка датасетов туда и обратно немного напрягает. 400-метровый CSV с датасетом скачивается внутрь контейнера из google drive минут 5. Воспользовался рецептом, описанным в официальном howto здесь, то есть залил файлик в свой GD, определил его file ID через расшаривание по ссылке, скачал через googleapiclient и так далее. Потом перекачал скачанные байты во временный файл внутри контейнера. В общем, минут на 15-20, если делать все второй раз после превращения контейнера в тыкву по истечении 12 часов.

2) Для модели, размечающей данные с помощью рекуррентной сеточки с использованием keras_contrib.layers.CRF, обучение на Tesla K80 в Colaboratory идет медленнее примерно в 2 раза в сравнении с железным 4-ядерным i7-4790 4 ГГц. Сравнил по времени, затраченному на одну эпоху обучения модели. Спасибо tensorflow, модель на CPU съедает все четыре ядра почти на 100%.

3) Определенное удобство - возможность оставить модель на ночь обучаться, например для подбора гиперпараметров или архитектуры. Тут бесплатному GPU в зубы не смотрим, берем что есть.

?

Log in

No account? Create an account