Привет, я пытаюсь запустить код облачного потока данных из облачной оболочки. Я подаю в суд на следующий код.
from __future__ import absolute_import
import argparse
import logging
import apache_beam as beam
from apache_beam.io import ReadFromText
from apache_beam.io import WriteToText
from apache_beam.options.pipeline_options import PipelineOptions
import csv
import psycopg2
from io import StringIO
import argparse
import logging
import sys
import re
import csv
conn = psycopg2.connect("dbname='db_bio' user='postgres' host='*****' port='5432' password='poui19956'")
class scrip_val(beam.DoFn):
def process(self, element):
f = StringIO(element)
print(type(f))
reader = csv.reader(f, delimiter=',')
for row in reader:
cur.execute("insert into bio values(%s,%s,%s,%s,%s)",row)
conn.commit()
return [len(element)]
def run():
parser = argparse.ArgumentParser()
parser.add_argument('--input',
dest='input',
default='gs://pydataflow',
help='Input file to process.')
known_args, pipeline_args = parser.parse_known_args()
with beam.Pipeline(options=PipelineOptions(pipeline_args)) as p:
lines = p | 'read' >> ReadFromText(known_args.input)
(lines
| 'words'>> beam.ParDo(scrip_val())
)
if __name__ == '__main__':
logging.getLogger().setLevel(logging.INFO)
run()'
Но когда я пытаюсь запустить этот код из облачной оболочки, используя эту команду
python -m bulksumlog --input [Bucket_location] --runner DataflowRunner --project [Project_id] --temp_locat
ion [temo_Bucket_location] --save_main_session True
Я получаю следующую ошибку
return dill.load_session(file_path)
File "/usr/local/lib/python2.7/dist-packages/dill/_dill.py", line 402, in load_session
module = unpickler.load()
File "/usr/lib/python2.7/pickle.py", line 864, in load
dispatch[key](self)
File "/usr/lib/python2.7/pickle.py", line 1096, in load_global
klass = self.find_class(module, name)
File "/usr/local/lib/python2.7/dist-packages/dill/_dill.py", line 465, in find_class
return StockUnpickler.find_class(self, module, name)
File "/usr/lib/python2.7/pickle.py", line 1130, in find_class
__import__(module)
ImportError: No module named psycopg2.extensions
Я установил всю библиотеку python, связанную с psycopg2. Кто-нибудь, пожалуйста, помогите.
Попробуйте Установить модуль psycopg2 на своем сервере
Для установки Psycopg требуется несколько предварительных условий (компилятор C, некоторые пакеты разработки): проверьте информацию об установке и faq в каталоге doc или в Интернете для получения подробной информации.
Если требуются предварительные условия, вы можете установить psycopg, как и любой другой пакет Python, используя pip для загрузки из PyPI:
$ pip install psycopg2
или с помощью setup.py, если вы загрузили исходный пакет локально:
$ python setup.py build
$ sudo python setup.py install
Вы также можете получить автономный пакет, не требующий компилятора или внешних библиотек, установив пакет psycopg2-bin из PyPI:
$ pip install psycopg2-binary
Бинарный пакет является практическим выбором для разработки и тестирования, но в производстве рекомендуется использовать пакет, построенный из источников.
Если вы используете python 3.x означает изменение
pip to pip3