Получить верхний термин для каждого документа - scikit tf-idf

1

После векторизации нескольких документов с помощью векторизатора scikit tf-idf, есть ли способ получить наиболее "влиятельный" термин для каждого документа?

Я нашел только способы получить наиболее "влиятельные" термины для всего корпуса, но не для каждого документа.

  • 1
    Как бы вы определили наиболее влиятельный термин для каждого документа? В частности, чем оно отличается от слова в документе с самым высоким tf-idf?
  • 0
    Либо вы работаете с td-idf над каждым документом, а не над всем корпусом, либо фильтруете результаты td-idf на всем корпусе по словарю нового документа.
Показать ещё 1 комментарий
Теги:
scikit-learn
tf-idf

2 ответа

0
Лучший ответ

Скажем, вы начинаете с набора данных:

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
import numpy as np
from sklearn.datasets import fetch_20newsgroups

d = fetch_20newsgroups()

Используйте векторизатор count и tfidf:

count_vect = CountVectorizer()
X_train_counts = count_vect.fit_transform(d.data)
transformer = TfidfTransformer()
X_train_tfidf = transformer.fit_transform(X_train_counts)

Теперь вы можете создать обратное отображение:

m = {v: k for (k, v) in count_vect.vocabulary_.items()}

и это дает влиятельное слово в док:

[m[t] for t in np.array(np.argmax(X_train_tfidf, axis=1)).flatten()]
  • 0
    Спасибо за помощь! Это очень ценится!
  • 0
    Нет проблем. Всего наилучшего.
0

Просто добавьте еще один способ сделать это в двух последних шагах Ami:

# Get a list of all the keywords by calling function
feature_names = np.array(count_vect.get_feature_names())
feature_names[X_train_tfidf.argmax(axis=1)]
  • 0
    Очень хорошо -----------

Ещё вопросы

Сообщество Overcoder
Наверх
Меню