MemoryError при использовании метода read () при чтении файла JSON большого размера из Amazon S3

Я пытаюсь импортировать большой размер JSON FILE из Amazon S3 в AWS RDS-PostgreSQL с помощью Python. Но эти ошибки возникли,

Traceback (последний последний вызов):

Файл "my_code.py", строка 67, в

file_content = obj ['Body']. read(). decode ('utf-8'). splitlines (True)

Файл "/home/user/asd-to-qwe/fgh-to-hjk/env/local/lib/python3.6/site-packages/botocore/response.py", строка 76, при чтении

chunk = self._raw_stream.read(amt)

Файл "/home/user/asd-to-qwe/fgh-to-hjk/env/local/lib/python3.6/site-packages/botocore/vendored/requests/packages/urllib3/response.py", строка 239, в чтении

data = self._fp.read()

Файл "/usr/lib64/python3.6/http/client.py", строка 462, при чтении

s = self._safe_read (self.length)

Файл "/usr/lib64/python3.6/http/client.py", строка 617, в _safe_read

return b "". join (s)

MemoryError

//my_code.py

import sys
import boto3
import psycopg2
import zipfile
import io
import json

s3 = boto3.client('s3', aws_access_key_id=<aws_access_key_id>, aws_secret_access_key=<aws_secret_access_key>)
connection = psycopg2.connect(host=<host>, dbname=<dbname>, user=<user>, password=<password>)
cursor = connection.cursor()

bucket = sys.argv[1]
key = sys.argv[2]
obj = s3.get_object(Bucket=bucket, Key=key)

def insert_query(data):
    query = """
        INSERT INTO data_table
        SELECT
            (src.test->>'url')::varchar, (src.test->>'id')::bigint,
            (src.test->>'external_id')::bigint, (src.test->>'via')::jsonb
        FROM (SELECT CAST(%s AS JSONB) AS test) src
    """
    cursor.execute(query, (json.dumps(data),))


if key.endswith('.zip'):
    zip_files = obj['Body'].read()
    with io.BytesIO(zip_files) as zf:
        zf.seek(0)
        with zipfile.ZipFile(zf, mode='r') as z:
            for filename in z.namelist():
                with z.open(filename) as f:
                    for line in f:
                        insert_query(json.loads(line.decode('utf-8')))
if key.endswith('.json'):
    file_content = obj['Body'].read().decode('utf-8').splitlines(True)
    for line in file_content:
        insert_query(json.loads(line))


connection.commit()
connection.close()

Есть ли какие-либо решения этих проблем? Любая помощь сделана, спасибо вам большое!