Компьютерная лингвистика

Новостная лента www.solarix.ru

Previous Entry Share Next Entry
Весело начался год собаки
kelijah
Накручивая нейросетку поверх CRF для нормализации результатов разбора данных для ETL процедуры, случайно обнаружил, что модель для CRF разбила датасет в пропорции 20% на тренировку и 80% на валидацию. Спасибо остатку от деления на пять:

if (isample % 5) == 0:
    X_train.append(x)
    y_train.append(y)
    attrstr_train.append(attrstr)
    values_train.append(attrval)
else:
    X_val.append(x)
    y_val.append(y)
    attrstr_val.append(attrstr)
    values_val.append(attrval)



При этом она обучалась около 2х часов, показывая в принципе неплохой результат.

Вернул разбивку в нормальную пропорцию, запустил на рабочем сервере переобучение, ждем результатов...



?

Log in

No account? Create an account