Ошибка колбы с сообщением dill.dill при загрузке сохраненного файла

1

Я сохранил два файла (модель, векторный указатель) в s3 и попытался загрузить с s3 и запустить его с моим файлом-флеш-приложением. Но в настоящее время он возвращает dill.dill (без модуля с именем error). Смешно, что я нигде не импортирую "укроп", но похоже, что он импортируется внутри и жалуется.

    import flask
    from flask import Flask, request, render_template, jsonify
    from sklearn.externals import joblib
    import numpy as np
    from scipy import misc
    from sklearn.feature_extraction.text import TfidfVectorizer
    import boto3
    import pickle 

    BUCKET_NAME = 'xxxx'
    MODEL_FILE_NAME = 'text-classification-model-v1.pk' 
    VECTORIZER_FILE_NAME = 'word_vectorizer.pk'
    ACCESS_KEY="QQQQ"
    SECRET_KEY="ZZZZZ"
    S3 = boto3.client('s3', aws_access_key_id=ACCESS_KEY,aws_secret_access_key=SECRET_KEY, region_name='us-west-2')
    app = Flask(__name__)

    @app.route('/', methods=['GET'])
    def index():
        payload = [request.args.get('description')]     
        prediction = predict_(payload)
        return parse_data()

    def predict_(payload):
        transformed_text_features = load_vectorizer(payload)
        return load_model(MODEL_FILE_NAME).predict(transformed_text_features) 

    def parse_data():
        return 'xxx'

    def load_vectorizer(payload):
        with open("downloaded_vectorizer.pk", 'wb') as data:
            S3.download_fileobj(BUCKET_NAME, VECTORIZER_FILE_NAME, data)
        infile = open("downloaded_vectorizer.pk","rb")
        loaded_vectorizer = joblib.load(infile)  
        infile.close()
        transformed_text_features = loaded_vectorizer.transform(payload)  
        return transformed_text_features

    def load_model(model):
        with open("downloaded_model_textclassification.pkl", 'wb') as data:  
            S3.download_fileobj(BUCKET_NAME, MODEL_FILE_NAME, data)
        infile = open("downloaded_model_textclassification.pkl","rb")    
        model = pickle.load(infile) 
        infile.close()
        return model 

    ==========
    error message
    ==========
      File "\flask\predict_commodity.py", line 32, in index
        prediction = predict_(payload)
      File "\flask\predict_commodity.py", line 38, in predict_
        transformed_text_features = load_vectorizer(payload)
      File "\flask\predict_commodity.py", line 60, in load_vectorize
        loaded_vectorizer = joblib.load(infile)
      File " \lib\site-packages\sklearn\externals\joblib\numpy_pickle.py", line 568, in load
        obj = _unpickle(fobj)
      File " \lib\site-packages\sklearn\externals\joblib\numpy_pickle.py", line 508, in _unpickle
        obj = unpickler.load()
      File " \anaconda3\Lib\pickle.py", line 1050, in load
        dispatch[key[0]](self)
      File "\Lib\pickle.py", line 1338, in load_global
        klass = self.find_class(module, name)
      File "\Lib\pickle.py", line 1388, in find_class
        __import__(module, level=0)
    ModuleNotFoundError: No module named 'dill.dill'
Теги:
machine-learning
amazon-s3
pickle
dill

1 ответ

0
Лучший ответ

В вашем коде вы используете pickle и sklearn.externals.joblib. Это может быть проблемой.

Кроме того, вы можете попробовать обновить пакет: pip install dill --upgrade. Это помогло мне с той же проблемой.

Ещё вопросы

Сообщество Overcoder
Наверх
Меню