MySQL «неправильное значение строки» ошибка при сохранении строки Unicode в Django

118

У меня возникло странное сообщение об ошибке при попытке сохранить имя first_name, last_name в модели Django auth_user.

Неудавшиеся примеры

user = User.object.create_user(username, email, password)
user.first_name = u'Rytis'
user.last_name = u'Slatkevičius'
user.save()
>>> Incorrect string value: '\xC4\x8Dius' for column 'last_name' at row 104

user.first_name = u'Валерий'
user.last_name = u'Богданов'
user.save()
>>> Incorrect string value: '\xD0\x92\xD0\xB0\xD0\xBB...' for column 'first_name' at row 104

user.first_name = u'Krzysztof'
user.last_name = u'Szukiełojć'
user.save()
>>> Incorrect string value: '\xC5\x82oj\xC4\x87' for column 'last_name' at row 104

Примеры примеров

user.first_name = u'Marcin'
user.last_name = u'Król'
user.save()
>>> SUCCEED

Настройки MySQL

mysql> show variables like 'char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       | 
| character_set_connection | utf8                       | 
| character_set_database   | utf8                       | 
| character_set_filesystem | binary                     | 
| character_set_results    | utf8                       | 
| character_set_server     | utf8                       | 
| character_set_system     | utf8                       | 
| character_sets_dir       | /usr/share/mysql/charsets/ | 
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

Оболочка и сортировка таблиц

Таблица auth_user имеет кодировку utf-8 с настройкой utf8_general_ci.

Результаты команды UPDATE

При обновлении значений выше в таблице auth_user при использовании команды UPDATE она не вызывала ошибок.

mysql> update auth_user set last_name='Slatkevičiusa' where id=1;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> select last_name from auth_user where id=100;
+---------------+
| last_name     |
+---------------+
| Slatkevi?iusa | 
+---------------+
1 row in set (0.00 sec)

PostgreSQL

Неверные значения, перечисленные выше, могут быть обновлены в таблице PostgreSQL, когда я переключил бэкэнд базы данных в Django. Странно.

mysql> SHOW CHARACTER SET;
+----------+-----------------------------+---------------------+--------+
| Charset  | Description                 | Default collation   | Maxlen |
+----------+-----------------------------+---------------------+--------+
...
| utf8     | UTF-8 Unicode               | utf8_general_ci     |      3 | 
...

Но из http://www.postgresql.org/docs/8.1/interactive/multibyte.html я нашел следующее:

Name Bytes/Char
UTF8 1-4

Это означает, что unicode char имеет maxlen из 4 байтов в PostgreSQL, но 3 байта в MySQL, вызвавший ошибку выше?

Теги:
unicode
utf-8

7 ответов

6
Лучший ответ

Я просто вычислил один метод, чтобы избежать ошибок выше.

Сохранить в базе данных

user.first_name = u'Rytis'.encode('unicode_escape')
user.last_name = u'Slatkevičius'.encode('unicode_escape')
user.save()
>>> SUCCEED

print user.last_name
>>> Slatkevi\u010dius
print user.last_name.decode('unicode_escape')
>>> Slatkevičius

Это единственный способ сохранить такие строки в таблице MySQL и декодировать их перед отображением в шаблоны для отображения?

  • 10
    У меня похожая проблема, но я не согласен с тем, что это верное решение. Когда вы используете .encode('unicode_escape') вы фактически не храните символы юникода в базе данных. Вы заставляете всех клиентов дешифровать их перед использованием, а это значит, что он не будет работать должным образом с django.admin или со всеми другими вещами.
  • 2
    Хотя кажется неприятным хранить escape-коды вместо символов, это, вероятно, один из немногих способов сохранить 4-байтовые символы UTF-8, такие как emoji, в 3- utf8 наборе utf8 MySQL 5.1.
Показать ещё 5 комментариев
90

У меня была та же проблема и разрешила ее, изменив набор символов столбца. Несмотря на то, что ваша база данных имеет набор символов по умолчанию utf-8, я думаю, что для столбцов базы данных возможно иметь другой набор символов в MySQL. Здесь SQL QUERY я использовал:

    ALTER TABLE database.table MODIFY COLUMN col VARCHAR(255)
    CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL;
  • 14
    Тьфу, я изменил все наборы символов на все, что мог, пока я действительно не перечитал этот ответ: столбцы могут иметь свои собственные наборы символов, независимо от таблиц и базы данных. Это безумие, и это была именно моя проблема.
  • 1
    Это работало и для меня, используя mysql со значениями по умолчанию, в модели TextField.
82

Ни один из этих ответов не решил проблему для меня. Основная причина:

Вы не можете хранить 4-байтовые символы в MySQL с набором символов utf-8.

MySQL имеет ограничение 3 байта на символы utf-8 (да, это wack, красиво подытожен разработчиком Django здесь)

Чтобы решить эту проблему, вам необходимо:

  • Измените свою базу данных MySQL, таблицу и столбцы, чтобы использовать набор символов utf8mb4 (доступен только от MySQL 5.5 и далее)
  • Укажите кодировку в файле настроек Django, как показано ниже:

settings.py

DATABASES = {
    'default': {
        'ENGINE':'django.db.backends.mysql',
        ...
        'OPTIONS': {'charset': 'utf8mb4'},
    }
}

Примечание. При воссоздании вашей базы данных вы можете запустить "Указанный ключ слишком длинный.

Наиболее вероятной причиной является CharField, которая имеет max_length 255 и какой-то индекс на ней (например, уникальный). Поскольку utf8mb4 использует на 33% больше пространства, чем utf-8, вам нужно будет сделать эти поля на 33% меньше.

В этом случае измените максимальную длину с 255 на 191.

В качестве альтернативы вы можете изменить свою конфигурацию MySQL, чтобы удалить это ограничение, но не без какого-либо хакерства django

ОБНОВЛЕНИЕ: Я снова столкнулся с этой проблемой и закончил переход на PostgreSQL, потому что мне не удалось уменьшить my VARCHAR до 191 символа.

  • 10
    этот ответ нуждается в пути, пути, намного больше голосов. Спасибо! Настоящая проблема в том, что ваше приложение может нормально работать годами, пока кто-нибудь не попытается ввести 4-байтовый символ.
  • 2
    Это абсолютно правильный ответ. Параметр OPTIONS имеет решающее значение для того, чтобы django декодировал символы эмодзи и сохранял их в MySQL. Просто изменить кодировку mysql на utf8mb4 с помощью команд SQL недостаточно!
Показать ещё 1 комментарий
59

Если у вас есть эта проблема, здесь python script автоматически изменит все столбцы вашей базы данных mysql.

#! /usr/bin/env python
import MySQLdb

host = "localhost"
passwd = "passwd"
user = "youruser"
dbname = "yourdbname"

db = MySQLdb.connect(host=host, user=user, passwd=passwd, db=dbname)
cursor = db.cursor()

cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
cursor.execute(sql)

results = cursor.fetchall()
for row in results:
  sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
  cursor.execute(sql)
db.close()
  • 4
    Это решение решило все мои проблемы с приложением django, которое хранило пути к файлам и каталогам. Добавьте dbname в качестве базы данных django и запустите. Работал как шарм!
  • 0
    Это лучше, чем менять их вручную. Спасибо!
Показать ещё 8 комментариев
13

Если это новый проект, я просто отброшу базу данных и создаю новый с соответствующей кодировкой:

CREATE DATABASE <dbname> CHARACTER SET utf8;
  • 0
    Здравствуйте, помогите проверить этот вопрос stackoverflow.com/questions/46348817/…
  • 0
    В моем случае наш db создан docker, поэтому для исправления я добавил в команду db:: команду в моем файле compose: - --character-set-server=utf8
Показать ещё 1 комментарий
6

Вы можете изменить сортировку текстового поля на UTF8_general_ci, и проблема будет решена.

Обратите внимание: это невозможно сделать в Django.

1

Вы не пытаетесь сохранить строки unicode, вы пытаетесь сохранить bytestrings в кодировке UTF-8. Сделайте их фактическими строковыми литералами в Юникоде:

user.last_name = u'Slatkevičius'

или (когда у вас нет строковых литералов) декодирует их с помощью кодировки utf-8:

user.last_name = lastname.decode('utf-8')
  • 0
    @ Томас, я пытался точно так же, как вы сказали, но это все равно вызывает те же ошибки.

Ещё вопросы

Сообщество Overcoder
Наверх
Меню