Python запрашивает случайные разрывы с JSONDecodeError

Question

Python запрашивает случайные разрывы с JSONDecodeError

1

Я отлаживал часами, почему мой код случайно разбивается с этой ошибкой: JSONDecodeError: Expecting value: line 1 column 1 (char 0)

Это код, который у меня есть:

while True:
    try:
        submissions = requests.get('http://reymisterio.net/data-dump/api.php/submission?filter[]=form,cs,'+client+'&filter[]=date,cs,'+since).json()['submission']['records']
        break
    except requests.exceptions.ConnectionError:
        time.sleep(100)

И я отлаживаю, печатая requests.get(url) и requests.get(url).text и я столкнулся со следующими "специальными" случаями:

requests.get(url) возвращает успешный ответ 200 и requests.get(url).text возвращает html. Я читал в Интернете, что это не requests.get(url).json() при использовании requests.get(url).json(), потому что он не сможет прочитать html, но как-то он не сломается. Почему это?
requests.get(url) возвращает успешный ответ 200, а requests.get(url).text находится в формате json. Я не понимаю, почему, когда он идет на requests.get(url).json() она ломается с JSONDecodeError?

Точное значение requests.get(url).text для случая 2:

{
  "submission": {
    "columns": [
      "pk",
      "form",
      "date",
      "ip"
    ],
    "records": [
      [
        "21197",
        "mistico-form-contacto-form",
        "2018-09-21 09:04:41",
        "186.179.71.106"
      ]
    ]
  }
}

mateocam 25 сен. 2018, в 00:44

Источник

0

это работает при попытке json.loads(requests.get(url).text) ?
Danilo Souza Morães 25 сен. 2018, в 00:49

Теги:

python

python-requests

json

jsondecoder

1 ответ

Ещё вопросы

это работает при попытке json.loads(requests.get(url).text) ?

Henry Woody · Answer 1 · 2018-09-24T23-16-00.000Z

Глядя на документацию по этому API, кажется, что единственные ответы в формате JSON, поэтому получение HTML странно. Чтобы увеличить вероятность получения ответа JSON, вы можете настроить заголовок "Принять" на "application/json".

Я пробовал многократно запрашивать этот API с параметрами и не сталкивался с JSONDecodeError. Вероятно, эта ошибка является результатом другой ошибки на стороне сервера. Чтобы справиться с этим, за except того, в json.decoder.JSONDecodeError в дополнение к ConnectionError ошибка, которую вы в настоящее время, за except и обрабатывать эту ошибку таким же образом, как ConnectionError.

Вот пример с учетом всего этого:

import requests, json, time, random

def get_submission_records(client, since, try_number=1):
    url = 'http://reymisterio.net/data-dump/api.php/submission?filter[]=form,cs,'+client+'&filter[]=date,cs,'+since
    headers = {'Accept': 'application/json'}
    try:
        response = requests.get(url, headers=headers).json()
    except (requests.exceptions.ConnectionError, json.decoder.JSONDecodeError):
        time.sleep(2**try_number + random.random()*0.01) #exponential backoff
        return get_submission_records(client, since, try_number=try_number+1)
    else:
        return response['submission']['records']

Я также обернут эта логика в рекурсивной функции, а не использовать во while цикла, потому что я думаю, что это семантический яснее. Эта функция также ждет, прежде чем повторять попытку с помощью экспоненциального отсрочка (ожидание в два раза больше после каждого отказа).

Изменить: для Python 2.7 ошибка при попытке разобрать bad json - это ValueError, а не JSONDecodeError

import requests, time, random

def get_submission_records(client, since, try_number=1):
    url = 'http://reymisterio.net/data-dump/api.php/submission?filter[]=form,cs,'+client+'&filter[]=date,cs,'+since
    headers = {'Accept': 'application/json'}
    try:
        response = requests.get(url, headers=headers).json()
    except (requests.exceptions.ConnectionError, ValueError):
        time.sleep(2**try_number + random.random()*0.01) #exponential backoff
        return get_submission_records(client, since, try_number=try_number+1)
    else:
        return response['submission']['records']

поэтому просто измените это, except строки, чтобы включить ValueError вместо json.decoder.JSONDecodeError.

да, я был очень смущен, когда я получал вывод html. Спасибо ! этот пример выглядит отлично, я попробую. надеюсь, что параметр заголовка исправит это.
Я тестировал эту реализацию и получаю эту ошибку: AttributeError: у объекта 'module' нет атрибута 'JSONDecodeError'. Я использую Python 2.7, это из-за этого?
@mateocam о да, в Python 2.7, ошибка является ValueError , я буду обновлять мой ответ, но в основном вы должны за except в ValueError вместо json.decoder.JSONDecodeError
Спасибо !! это было так полезно, большое спасибо !!
Я использовал ваш ответ, но получил следующую ошибку: «AttributeError: объект dict не имеет атрибута decoder». Должно ли это быть json.JSONDecodeError вместо json.decoder.JSONDecodeError? ( docs.python.org/3/library/json.html#exceptions )
@ Эдгар, вы не получите ту же ошибку, если вместо этого используете json.JSONDecodeError ? По крайней мере, они эквивалентны в моей версии Python, но я думаю, что вы правы, что удаление части decoder является рекомендуемым способом доступа к ошибке. Однако, судя по этой ошибке, вы могли бы назвать переменную json , которая перезапишет библиотеку json .