JSONDecodeError: Ожидаемое значение: строка 1, столбец 1 (символ 0)

Question

JSONDecodeError: Ожидаемое значение: строка 1, столбец 1 (символ 0)

57

При попытке декодирования JSON появляется ошибка Expecting value: line 1 column 1 (char 0).

URL-адрес, который я использую для вызова API, отлично работает в браузере, но дает эту ошибку, когда выполняется запрос curl. Ниже приведен код, который я использую для запроса curl.

Ошибка происходит при return simplejson.loads(response_json)

    response_json = self.web_fetch(url)
    response_json = response_json.decode('utf-8')
    return json.loads(response_json)


def web_fetch(self, url):
        buffer = StringIO()
        curl = pycurl.Curl()
        curl.setopt(curl.URL, url)
        curl.setopt(curl.TIMEOUT, self.timeout)
        curl.setopt(curl.WRITEFUNCTION, buffer.write)
        curl.perform()
        curl.close()
        response = buffer.getvalue().strip()
        return response

Полный трассировка:

Traceback:

File "/Users/nab/Desktop/myenv2/lib/python2.7/site-packages/django/core/handlers/base.py" in get_response
  111.                         response = callback(request, *callback_args, **callback_kwargs)
File "/Users/nab/Desktop/pricestore/pricemodels/views.py" in view_category
  620.     apicall=api.API().search_parts(category_id= str(categoryofpart.api_id), manufacturer = manufacturer, filter = filters, start=(catpage-1)*20, limit=20, sort_by='[["mpn","asc"]]')
File "/Users/nab/Desktop/pricestore/pricemodels/api.py" in search_parts
  176.         return simplejson.loads(response_json)
File "/Users/nab/Desktop/myenv2/lib/python2.7/site-packages/simplejson/__init__.py" in loads
  455.         return _default_decoder.decode(s)
File "/Users/nab/Desktop/myenv2/lib/python2.7/site-packages/simplejson/decoder.py" in decode
  374.         obj, end = self.raw_decode(s)
File "/Users/nab/Desktop/myenv2/lib/python2.7/site-packages/simplejson/decoder.py" in raw_decode
  393.         return self.scan_once(s, idx=_w(s, idx).end())

Exception Type: JSONDecodeError at /pricemodels/2/dir/
Exception Value: Expecting value: line 1 column 1 (char 0)

user1328021 15 май 2013, в 21:13

Источник

0

Зачем декодировать ответ? ( simple ) json может работать с JSON в кодировке UTF-8.
Martijn Pieters♦ 15 май 2013, в 19:24
3

Кроме того, зачем использовать pycurl когда pycurl более простые библиотеки, такие как requests ?
Martijn Pieters♦ 15 май 2013, в 19:25
1

И последнее, но не менее важное: что print repr(response_json) сообщает, что передается в .loads() ?
Martijn Pieters♦ 15 май 2013, в 19:25
2

Еще одно: зачем использовать simplejson когда вы можете просто использовать stdlib json (это та же библиотека, что и simplejson )?
Martijn Pieters♦ 15 май 2013, в 19:26
0

Когда я делаю print repr(response_json) он просто говорит, что u''
user1328021 15 май 2013, в 19:32
1

Это пустая строка. Ваш web_fetch() не удался.
Martijn Pieters♦ 15 май 2013, в 19:33
0

Хмммм интересно, потому что он работает в браузере.
user1328021 15 май 2013, в 19:34
0

Вам нужно будет использовать getinfo() чтобы выяснить, что такое код ответа HTTP, посмотреть, что сервер действительно послал вам. Тот факт, что в браузере все работает, не означает, что использование сценария будет обрабатываться сервером одинаково. Куки могут отсутствовать, сервер может реагировать по-разному, в зависимости от других заголовков.
Martijn Pieters♦ 15 май 2013, в 19:35
0

Что касается других ваших вопросов ... Я хотел бы дать лучшие ответы, но я не очень уверен в этих решениях. Вы рекомендуете перейти на JSON через SimpleJSON? А запросы над pycurl?
user1328021 15 май 2013, в 19:36
1

Да, я рекомендую вам использовать что-то более простое в использовании, чем pycurl . requests предлагают намного более легкий API, особенно когда дело доходит до отладки того, что происходит. Если вам не требуется новая версия библиотеки simplejson , просто придерживайтесь json , что избавляет вас от необходимости управлять зависимостью.
Martijn Pieters♦ 15 май 2013, в 19:37
0

Обратите внимание, что requests предлагают встроенную поддержку JSON: requests.get(url).json() .
Martijn Pieters♦ 15 май 2013, в 19:38
0

Хорошо, спасибо @MartijnPieters. Это ставит меня на правильный путь, чтобы попытаться расшифровать проблему. Я буду держать вас в курсе.
user1328021 15 май 2013, в 19:55
0

Ok обновление: Вы правильные requests тааак гораздо проще. Спасибо! Теперь я вижу ответ в print repr(resonse_json) который хорош! Теперь у меня есть ошибка в строке return json.loads(response_json) которая является Exception Value: expected string or buffer TypeError return json.loads(response_json) Exception Value: expected string or buffer
user1328021 15 май 2013, в 20:44
1

является response_json возвращаемым значением .json() ? Тогда у вас уже есть декодированные данные, и вам больше не нужно использовать json.loads() . response расшифровал это для вас.
Martijn Pieters♦ 15 май 2013, в 20:47
0

О верно!! Большое спасибо! Сейчас отлично работает.
user1328021 15 май 2013, в 20:50

Показать ещё 13 комментариев

Теги:

python

curl

json

api

4 ответа

27

Проверьте тело данных ответа, имеются ли фактические данные, и дамп данных выглядит хорошо отформатированным.

В большинстве случаев ваша ошибка json.loads - JSONDecodeError: Expecting value: line 1 column 1 (char 0) обусловлена:

не-JSON, соответствующий цитированию
вывод XML/HTML (то есть строка, начинающаяся с <), или
несовместимое кодирование символов

В конечном счете ошибка говорит вам, что в самой первой позиции строка уже не соответствует JSON.

Таким образом, если синтаксический анализ не выполняется, несмотря на то, что тело данных выглядит как JSON, как на первый взгляд, попробуйте заменить кавычки тела данных:

import sys, json
struct = {}
try:
  try: #try parsing to dict
    dataform = str(response_json).strip("'<>() ").replace('\'', '\"')
    struct = json.loads(dataform)
  except:
    print repr(resonse_json)
    print sys.exc_info()

Примечание. Котировки внутри данных должны быть правильно экранированы

Lorenz Lo Sauer 27 авг. 2013, в 10:41

2

В комментариях было ясно, что ОП получил пустой ответ. Так как requests.get(url).json() просто работает, JSON тоже не деформирован.
Martijn Pieters♦ 22 сен. 2014, в 21:19

5

С requests это может произойти, если у вас есть код ошибки HTTP, например, 404 и попытайтесь разобрать ответ как JSON!

Вы должны сначала проверить OK или позволить ему поднять ошибку, чтобы избежать этого случая. Мне жаль, что это не получилось с менее загадочным сообщением об ошибке.

Christophe Roussy 29 май 2017, в 13:13

0

Извините за старый комментарий, но не могли бы вы дать ссылку на пример? Я пытаюсь перенять свои навыки от «выполнить действие» до «попытаться выполнить действие, дать ответ, отреагировать соответственно».
dcclassics 30 окт. 2017, в 22:57
0

@dcclassics: Пример: происходит сбой на стороне сервера, и сервер отвечает, показывая страницу с ошибкой (HTML) вместо ответа с JSON, поэтому при синтаксическом анализе ответа будет пытаться прочитать JSON, но произойдет сбой в тегах HTML.
Christophe Roussy 08 нояб. 2017, в 11:12
1

Серверы могут включать и включают тела JSON в сообщения об ошибках. Это не просто 200 хороших ответов. Вы хотите проверить заголовок Content-Type.
Martijn Pieters♦ 20 авг. 2018, в 16:40

Показать ещё 1 комментарий

0

Там могут быть встроены 0, даже после вызова decode(). Используйте replace():

import json
struct = {}
try:
    response_json = response_json.decode('utf-8').replace('\0', '')
    struct = json.loads(response_json)
except:
    print('bad json: ', response_json)
return struct

bryan 29 сен. 2017, в 20:29

Ещё вопросы

Зачем декодировать ответ? ( simple ) json может работать с JSON в кодировке UTF-8.
Кроме того, зачем использовать pycurl когда pycurl более простые библиотеки, такие как requests ?
И последнее, но не менее важное: что print repr(response_json) сообщает, что передается в .loads() ?
Еще одно: зачем использовать simplejson когда вы можете просто использовать stdlib json (это та же библиотека, что и simplejson )?
Когда я делаю print repr(response_json) он просто говорит, что u''
Это пустая строка. Ваш web_fetch() не удался.
Хмммм интересно, потому что он работает в браузере.
Вам нужно будет использовать getinfo() чтобы выяснить, что такое код ответа HTTP, посмотреть, что сервер действительно послал вам. Тот факт, что в браузере все работает, не означает, что использование сценария будет обрабатываться сервером одинаково. Куки могут отсутствовать, сервер может реагировать по-разному, в зависимости от других заголовков.
Что касается других ваших вопросов ... Я хотел бы дать лучшие ответы, но я не очень уверен в этих решениях. Вы рекомендуете перейти на JSON через SimpleJSON? А запросы над pycurl?
Да, я рекомендую вам использовать что-то более простое в использовании, чем pycurl . requests предлагают намного более легкий API, особенно когда дело доходит до отладки того, что происходит. Если вам не требуется новая версия библиотеки simplejson , просто придерживайтесь json , что избавляет вас от необходимости управлять зависимостью.
Обратите внимание, что requests предлагают встроенную поддержку JSON: requests.get(url).json() .
Хорошо, спасибо @MartijnPieters. Это ставит меня на правильный путь, чтобы попытаться расшифровать проблему. Я буду держать вас в курсе.
Ok обновление: Вы правильные requests тааак гораздо проще. Спасибо! Теперь я вижу ответ в print repr(resonse_json) который хорош! Теперь у меня есть ошибка в строке return json.loads(response_json) которая является Exception Value: expected string or buffer TypeError return json.loads(response_json) Exception Value: expected string or buffer
является response_json возвращаемым значением .json() ? Тогда у вас уже есть декодированные данные, и вам больше не нужно использовать json.loads() . response расшифровал это для вас.
О верно!! Большое спасибо! Сейчас отлично работает.
В комментариях было ясно, что ОП получил пустой ответ. Так как requests.get(url).json() просто работает, JSON тоже не деформирован.
Извините за старый комментарий, но не могли бы вы дать ссылку на пример? Я пытаюсь перенять свои навыки от «выполнить действие» до «попытаться выполнить действие, дать ответ, отреагировать соответственно».
@dcclassics: Пример: происходит сбой на стороне сервера, и сервер отвечает, показывая страницу с ошибкой (HTML) вместо ответа с JSON, поэтому при синтаксическом анализе ответа будет пытаться прочитать JSON, но произойдет сбой в тегах HTML.
Серверы могут включать и включают тела JSON в сообщения об ошибках. Это не просто 200 хороших ответов. Вы хотите проверить заголовок Content-Type.

Martijn Pieters · Accepted Answer · 2013-05-15T22-42-00.000Z

Подводя итог разговору в комментариях:

Нет необходимости использовать библиотеку simplejson, одна и та же библиотека включена с Python в качестве модуля json.
Нет необходимости декодировать ответ от UTF8 на unicode, метод simplejson/json .loads() может обрабатывать кодированные данные UTF8 изначально.
pycurl имеет очень архаичный API. Если у вас нет особых требований для его использования, есть более эффективные варианты.

requests предлагает самый дружественный API, включая поддержку JSON. Если вы можете, замените свой вызов на:

import requests

return requests.get(url).json()

Я получаю эту же ошибку, используя requests ! Трассировка предполагает, что в requests используется complexjson , который использует simplejson . Weird.
@Rayu: запросы будут использовать simplejson если доступно; некоторые люди хотят использовать последнюю версию simplejson, а не ту, что входит в состав Python stdlib.
«Нет необходимости использовать библиотеку simplejson, в Python входит та же библиотека, что и в модуле json.» ... Я с уважением не согласен. simplejson использует встроенный json под капотом, но дает больше описательных ошибок. В этом случае использование json даст вам общее значение ValueError: No JSON object could be decoded .
Может ли это быть вызвано прерыванием или неполным JSON? Время от времени я получаю это случайно, не зная, как это воспроизвести.
@ChristopheRoussy: да, это скорее точка вопроса (ОП есть пустой u'' ответ). Ваш JSONDecodeError говорит вам, что много данных было успешно проанализировано, прежде чем они столкнулись с ошибкой; это может быть связано с тем, что в этой точке имеются недопустимые данные (искаженный или поврежденный документ JSON) или из-за того, что данные были усечены.
Я обычно получаю эту ошибку, когда данные, которые я передаю на запрос, имеют неверный формат