Козиев Илья (kelijah) wrote,
Козиев Илья
kelijah

Category:

К вопросу о точности UDPipe, обученном на датасете Синтагрус

PS: В ходе перепроверки выяснилось, что сделанный ранее вывод о проблемах синтагруса неверен. Шаблоны вида:

NP,Acc#значит#NP,Nom,Sing#

соответствуют в том числе предложениям типа:

что значит эта фраза ?

В них аккузатив для "что" определен правильно.


В ходе анализа типичной структуры предложений в инет-текстах собираю статистику такого вида:


276 как#называется#NP,Nom,Sing#?
179 NP,Acc#значит#NP,Nom,Sing#?
163 какие#есть#NP,Nom,Plur#?
141 у#NP,Gen#есть#NP,Nom,Sing#.
140 есть#NP,Nom,Sing#.
132 есть#ли#NP,Nom,Sing#?
120 есть#ли#NP,Nom,Plur#?
117 у#NP,Gen#есть#NP,Nom,Sing#?
87 существует#ли#NP,Nom,Sing#?
83 есть#NP,Nom,Plur#?
79 может#ли#NP,Nom,Sing#?
77 есть#NP,Nom,Sing#?
76 чем#NP,Nom,Sing#отличается#от#NP,Gen#?
69 NP,Dat#нравится#NP,Nom,Sing#?
68 сколько#стоит#NP,Nom,Sing#?
67 существуют#ли#NP,Nom,Plur#?
63 у#NP,Gen#есть#NP,Nom,Plur#?
55 чем#отличается#NP,Nom,Sing#от#NP,Gen#?
49 как#называются#NP,Nom,Plur#?
49 как#NP,Nom,Plur#относятся#NP,Dat#?


Собственно говоря, это предложения, в которых именные группы заменены слотами вида "NP,теги". Решетка разделяет токены и NP-чанки. Первый столбец - это абсолютная частота паттерна.

Можно заметить, что второй шаблон грамматически невалиден:

179 NP,Acc#значит#NP,Nom,Sing#?

Первая именная группа тут обычно бывает в номинативе, а не аккузативе: "Инфлюенца означает грипп?" etc.

Это - артефакт частеречной разметки UDPipe, обученного на датасете Синтагрус. Очевидно, в Синтагрусе мало именно таких паттернов, и это может быть плохо при анализе текстов из сервисов типа TheQuestion и т.д.
Tags: #np, #есть, #значит, , #ли, #называется, #называются, #нравится, #от, #отличается, #относятся, #стоит, part-of-speech tagging, udpipe, Синтагрус, синтаксис, синтаксический анализатор, синтаксический разбор
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 0 comments