Загрузите большой DataFrame из Pandas в Postgresql

Question

Загрузите большой DataFrame из Pandas в Postgresql

1

Я пытался загрузить огромный DF в таблицу postgres с помощью SqlAlchemy но процесс всегда был убит через некоторое время. Есть ли лучший способ сделать это с пандами? Я попробовал pg_bulkload и Pandas-to-postgres но установка не такая прямая.

>>dfSim = pd.read_csv('/outputs/ForumSIMCSV.csv').fillna(0).round(2)
>>MainName = dfSim[['mainName','mainSfid','mainprofile_ID']].drop_duplicates()

>>engine = create_engine('postgresql://stargateuser:5tar9ate@localhost/stargate',encoding='utf-8', echo=True)

>>MainName.to_sql("landingpage_mainname", con=engine, if_exists="replace")
Killed

road 22 авг. 2018, в 12:25

Источник

1

Вы пробовали ключевое слово "chunksize"? т.е. MainName.to_sql("landingpage_mainname", con=engine, if_exists="replace", chunksize=100) Вот документ для to_sql
John Ching 22 авг. 2018, в 12:45

Теги:

python

pandas

postgresql

sqlalchemy

1 ответ

Ещё вопросы

Вы пробовали ключевое слово "chunksize"? т.е. MainName.to_sql("landingpage_mainname", con=engine, if_exists="replace", chunksize=100) Вот документ для to_sql

road · Answer 1 · 2018-08-22T11-58-00.000Z

Это работает! Благодаря @JohnChing

MainName.to_sql("landingpage_mainname", con=engine,
                if_exists="replace", chunksize=200000)