В чем разница между utf8_general_ci и utf8_unicode_ci

Я хотел знать, какова разница в производительности между utf8_general_ci и utf8_unicode_ci, но я не нашел никаких тестов, перечисленных в Интернете, поэтому я решил сам создать тесты.

Я создал очень простую таблицу с 500 000 строк:

CREATE TABLE test(
  ID INT(11) DEFAULT NULL,
  Description VARCHAR(20) DEFAULT NULL
)
ENGINE = INNODB
CHARACTER SET utf8
COLLATE utf8_general_ci;

Затем я заполнил его случайными данными, запустив эту хранимую процедуру:

CREATE PROCEDURE randomizer()
BEGIN
  DECLARE i INT DEFAULT 0;
  DECLARE random CHAR(20) ;

  theloop: loop
    SET random = CONV(FLOOR(RAND() * 99999999999999), 20, 36);

    INSERT INTO test VALUES (i+1, random);

    SET i=i+1;

    IF i = 500000 THEN
      LEAVE theloop;
    END IF;

  END LOOP theloop;
END

Затем я создал следующие хранимые процедуры для сравнения простых SELECT, SELECT с LIKE и сортировки (SELECT with ORDER BY):

CREATE benchmark_simple_select()
BEGIN
  DECLARE i INT DEFAULT 0;

  theloop: loop

    SELECT * FROM test WHERE Description = 'test' COLLATE utf8_general_ci;

    SET i = i + 1;

    IF i = 30 THEN
      LEAVE theloop;
      END IF;

  END LOOP theloop;

END

CREATE PROCEDURE benchmark_select_like()
BEGIN
  DECLARE i INT DEFAULT 0;

  theloop: loop

    SELECT * FROM test WHERE Description LIKE '%test' COLLATE utf8_general_ci;

    SET i = i + 1;

    IF i = 30 THEN
      LEAVE theloop;
      END IF;

  END LOOP theloop;

END

CREATE PROCEDURE benchmark_order_by()
BEGIN
  DECLARE i INT DEFAULT 0;

  theloop: loop

    SELECT * FROM test WHERE ID > FLOOR(1 + RAND() * (400000 - 1)) ORDER BY Description COLLATE utf8_general_ci LIMIT 1000;

    SET i = i + 1;

    IF i = 10 THEN
      LEAVE theloop;
      END IF;

  END LOOP theloop;

END

В хранимых процедурах выше utf8_general_ci используется сортировка, но, конечно, во время тестов я использовал как utf8_general_ci, так и utf8_unicode_ci.

Я вызывал каждую хранимую процедуру 5 раз для каждой сортировки (5 раз для utf8_general_ci и 5 раз для utf8_unicode_ci), а затем вычислял средние значения.

Мои результаты:

benchmark_simple_select() с utf8_general_ci: 9957 мс
benchmark_simple_select() с utf8_unicode_ci: 10271 ms
В этом тесте с использованием utf8_unicode_ci медленнее, чем utf8_general_ci на 3.2%.

benchmark_select_like() с utf8_general_ci: 11441 ms
benchmark_select_like() с utf8_unicode_ci: 12811 ms
В этом тесте с использованием utf8_unicode_ci медленнее, чем utf8_general_ci на 12%.

benchmark_order_by() с utf8_general_ci: 11944 ms
benchmark_order_by() с utf8_unicode_ci: 12887 ms
В этом тесте с использованием utf8_unicode_ci медленнее, чем utf8_general_ci на 7,9%.

Этот пост описывает это очень хорошо.

Вкратце: utf8_unicode_ci использует алгоритм сортировки Unicode, как определено в стандартах Unicode, тогда как utf8_general_ci - более простой порядок сортировки, что приводит к "менее точным" результатам сортировки.

См. руководство по mysql, Unicode Character Sets:

Для любого набора символов Юникода, операции, выполненные с использованием _general_ci сопоставление быстрее, чем сопоставление _unicode_ci. Например, сравнения для Уточнение utf8_general_ci выполняется быстрее, но немного менее правильно, чем сравнение для utf8_unicode_ci. причина в том, что utf8_unicode_ci поддерживает такие отображения как расширения; то есть, когда один характер сравнивается как равный комбинации других персонажей. Для пример, на немецком и некоторых других Языки "ß" равны "ss". utf8_unicode_ci также поддерживает схватки и невежественные персонажи. utf8_general_ci - это устаревшая сортировка который не поддерживает расширения, сокращений или невежественных символов. Он может делать только один-к-одному сравнение между символами.

Итак, чтобы обобщить, utf_general_ci использует меньший и менее правильный (по стандарту) набор сравнений, чем utf_unicode_ci, который должен реализовать весь стандарт. Набор general_ci будет быстрее, потому что меньше вычислений.

Вкратце:

если вам нужен лучший порядок сортировки - используйте utf8_unicode_ci (это предпочтительный метод),

но если вы полностью заинтересованы в производительности - используйте utf8_general_ci, но знайте, что он немного устарел.

Различия в показателях производительности очень незначительны.

Есть диаграммы для сортировки символов: http://collation-charts.org/mysql60/mysql604.utf8_general_ci.european.html и http://collation-charts.org/mysql60/mysql604.utf8_unicode_ci.european.html.

Для сохранения значений, таких как "é" и "e" в уникальном столбце, вы должны настроить его сопоставление на "ut8_bin", чтобы избежать дублирования ошибки.

Я не вижу на самом деле преимуществ использования utf8_unicode_ci в повседневном использовании.