Козиев Илья (kelijah) wrote,
Козиев Илья
kelijah

Category:

дополнение к "Синтагрус, UDPipe и Spacy" - теперь Turku NLP

В дополнение к посту "Синтагрус, UDPipe и Spacy"
Я проверил еще и Turku NLP, поскольку там русская модель тоже обучалась на том же самом Синтагрусе. Последовательность шагов для создания докера с русской моделью и выполнение разбора сделаны по мануалу. В консоли делаем так:

git clone https://github.com/TurkuNLP/Turku-neural-parser-pipeline.git

cd Turku-neural-parser-pipeline

docker build -t "my_ru_parser" --build-arg models=ru_syntagrus --build-arg hardware=cpu -f Dockerfile-lang .

echo "состоится сегодня встреча с мужчиной ?" | docker run -i my_ru_parser stream ru_syntagrus parse_plaintext



Видим результат:






То есть опять женский род (Gender=Fem) для слова "мужчиной".

Можно сделать два интересных вывода.

1) В Синтагрусе есть некий статистически значимый bias, приводящий к одинаковому результату на разных алгоритмах (Spacy, UDPipe, TurkuNLP)

2) Так как я обнаружил этот пример совершенно случайно, то нелишне спросить, сколько еще подобных пасхалок скрыто в Синтагрусе.
Tags: pos tagger, spacy, syntagrus, turkunkp, udpipe
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 0 comments