Какова точность nltk pos_tagger?

Question

Какова точность nltk pos_tagger?

1

Я пишу диссертацию и использую nltk.pos_tagger в своей работе. Я не могу найти никакой информации о точности этого алгоритма. Кто-нибудь знает, где я могу найти такую информацию?

Vit D 03 авг. 2014, в 21:33

Источник

0

Я не думаю, что вы можете получить оценку точности где-либо на самом деле. Как и большинство инструментов НЛП, это очень зависит от приложения. Зависит от того, сколько у вас неоднозначных слов, есть ли у вас основополагающая истина для оценки модели и т. Д. Я бы разработал вашу диссертацию так, чтобы вы могли рассчитать точность и вспомнить в вашем конкретном случае. Скажем, используйте Mechanical Turk, чтобы сгенерировать помеченные человеком данные из вашего корпуса, а затем оценить.
Everst 04 авг. 2014, в 00:48

Теги:

python

nlp

nltk

pos-tagger

1 ответ

Ещё вопросы

Я не думаю, что вы можете получить оценку точности где-либо на самом деле. Как и большинство инструментов НЛП, это очень зависит от приложения. Зависит от того, сколько у вас неоднозначных слов, есть ли у вас основополагающая истина для оценки модели и т. Д. Я бы разработал вашу диссертацию так, чтобы вы могли рассчитать точность и вспомнить в вашем конкретном случае. Скажем, используйте Mechanical Turk, чтобы сгенерировать помеченные человеком данные из вашего корпуса, а затем оценить.

alvas · Accepted Answer · 2014-08-03T18-56-00.000Z

NLTK default tag tagger pos_tag - тег MaxEnt, см. строку 82 из https://github.com/nltk/nltk/blob/разработка/NLTK/тег/ INIT.py

from nltk.corpus import brown
from nltk.data import load

sents = brown.tagged_sents()
# test on last 10% of brown corpus.
numtest = len(sents) / 10
testsents = sents[numtest:]

_POS_TAGGER = 'taggers/maxent_treebank_pos_tagger/english.pickle'

tagger = load(_POS_TAGGER)

print tagger.evaluate(testsents)

[выход]:

Я думаю, что вы забыли вставить вывод.
И как использование MaxEnt tagger является ответом на точность?