Сбой PHP на данных JSON-кодирования из Aurora MySQL

Question

Сбой PHP на данных JSON-кодирования из Aurora MySQL

0

Я недавно перенес приложение из MySQL в сервис Amazon Aurora MySQL. Мое приложение извлекает данные из этой базы данных и использует их для поиска в одном из индексов Elasticsearch.

Базовый HTTP-клиент библиотеки PHP Elasticsearch кодирует данные запроса в JSON перед отправкой на сервер Elasticsearch. Я обнаружил, что иногда вызов json_encode завершается неудачно и возвращает false при передаче данных, извлеченных из базы данных. Это происходит через случайные интервалы, поэтому я не мог найти точную причину.

Мои выводы приведены ниже:

Данные, извлеченные из базы данных, иногда содержат двоичные строки, и json_encode завершается ошибкой, когда эти данные передаются ему.
Мы используем кодировку UTF8 на уровне базы данных, поэтому это не может быть проблемой.

Снимок экрана ответа базы данных

Кто-нибудь здесь сталкивался с подобной проблемой с базой данных Aurora или MySQL, или это просто проблема самого PHP?

J. Doe 07 фев. 2019, в 14:12

Источник

0

Итак, вы говорите, что столбец базы данных, который должен содержать строку JSON, иногда содержит двоичные данные, верно?
RiggsFolly 07 фев. 2019, в 12:26
0

Я бы начал с проверки базы данных. Появились ли эти двоичные данные при переносе базы данных, или в вашем коде есть Opps, в котором хранятся двоичные данные
RiggsFolly 07 фев. 2019, в 12:28
0

Вы не можете обвинить PHP json_encode() в том, что он не смог преобразовать данные, которые он никогда не проектировал для преобразования
RiggsFolly 07 фев. 2019, в 12:30
0

Нет, столбец базы данных содержит только текст для поиска. Затем мы создаем запрос Elasticsearch в виде массива и затем передаем его в клиентскую библиотеку PHP Elasticsearch. Базовая реализация этой библиотеки использует json_encode для кодирования перед отправкой на сервер Elasticsearch.
J. Doe 07 фев. 2019, в 12:32
0

Кроме того, да, эти проблемы возникли после того, как приложение было перемещено в Aurora MySQL.
J. Doe 07 фев. 2019, в 12:33
0

Вы действительно проверяли базу данных?
RiggsFolly 07 фев. 2019, в 12:34
0

Да. Я проверил базу данных. Данные успешно иногда кодируются. Это происходит только через случайные интервалы. Вот почему я сомневался, связано ли это с Aurora или PHP.
J. Doe 07 фев. 2019, в 12:37

Показать ещё 5 комментариев

Теги:

php

mysql

json

elasticsearch

amazon-rds-aurora

1 ответ

Ещё вопросы

Итак, вы говорите, что столбец базы данных, который должен содержать строку JSON, иногда содержит двоичные данные, верно?
Я бы начал с проверки базы данных. Появились ли эти двоичные данные при переносе базы данных, или в вашем коде есть Opps, в котором хранятся двоичные данные
Вы не можете обвинить PHP json_encode() в том, что он не смог преобразовать данные, которые он никогда не проектировал для преобразования
Нет, столбец базы данных содержит только текст для поиска. Затем мы создаем запрос Elasticsearch в виде массива и затем передаем его в клиентскую библиотеку PHP Elasticsearch. Базовая реализация этой библиотеки использует json_encode для кодирования перед отправкой на сервер Elasticsearch.
Кроме того, да, эти проблемы возникли после того, как приложение было перемещено в Aurora MySQL.
Вы действительно проверяли базу данных?
Да. Я проверил базу данных. Данные успешно иногда кодируются. Это происходит только через случайные интервалы. Вот почему я сомневался, связано ли это с Aurora или PHP.

Antonio D'Angeo · Answer 1 · 2019-02-07T11-16-00.000Z

Никогда не предполагайте, что когда-либо использовать php и mysql... 8/10 то, что вы думаете, не проблема... это проблема...

Итак, попробуйте это:

Принудительно кодировать

function array_utf8_encode($dat){
        if (is_string($dat))
            return utf8_encode($dat);
        if (!is_array($dat))
            return $dat;
        $ret = array();
        foreach ($dat as $i => $d)
            $ret[$i] = self::array_utf8_encode($d);
        return $ret;
 }

$my_db_arr = array_utf8_encode($my_db_arr);

// Now let encode
$json = json_encode($my_db_arr);

Есть ли ошибки?

var_dump(json_last_error_msg());

json_last_error_msg()

Хорошего дня,

Антонио

Проблема в том, что не всегда не удается кодировать данные. В большинстве случаев он успешно кодируется в JSON. Это происходит только через случайные интервалы.
затем попытайтесь выйти из json_last_error_msg, таким образом вы сможете узнать, почему происходит сбой