Сожмите и сохраните строку в поле VARCHAR в MySQL

Question

Сожмите и сохраните строку в поле VARCHAR в MySQL

0

У меня есть стол с столбцом VARCHAR (10240). У меня есть приложение Java, которое хранит список строк в столбце таблицы как значение, разделенное запятой.

Но теперь я хочу сжать эту строку и сохранить ее в том же столбце, чтобы соответствовать требованиям и ограничениям хранения. Большинство вопросов SO и ответов на подобные вопросы предлагают изменить тип столбца таблицы на BLOB или двоичный безопасный тип.

Результатом сжатия в большинстве случаев является двоичная информация, поэтому нам может понадобиться двоичный ориентированный тип. Но можем ли мы кодировать эти двоичные данные с Base64 или что-то еще и хранить его. См. Также.

String → compress → Binary data (byte[]) → encode Base64 → store in VARCHAR

И можем ли мы сделать что-то вроде ниже для распаковки,

VARCHAR → decode base64 → Binary data (byte[]) → decompress → String

Trick: я не могу изменить этот столбец в BLOB или что-то еще, мне нужно использовать столбец как VARCHAR (10240) и хранить там сжатые данные. В любом случае, для этого?

prime 17 фев. 2018, в 06:04

Источник

0

Результатом кодирования в Base64 является byte[] и вы можете создать строку из этого - где ваша проблема?
laune 17 фев. 2018, в 04:35
0

@laune это сжимает данные? Кодирование не гарантирует сжатие данных правильно? Я просто хочу знать хороший способ сжать эту строку и сохранить ее в поле varchar
prime 17 фев. 2018, в 04:49
0

Кодировка Base64 гарантирует увеличение размера на 33%.
chrylis 17 фев. 2018, в 05:07
0

@ chrylis, так что у вас есть предложение по этому вопросу. Нужно сжать и хранить его в поле varchar
prime 17 фев. 2018, в 05:14
0

Не используйте VARCHAR, используйте все, что MySQL использует для двоичных данных ... VARBINARY, BLOB и т. Д.
Jim Garrison 17 фев. 2018, в 06:58
0

Вы показали последовательность, которая сжимает и кодирует: у вас есть байт []. Если при сжатии и кодировании получается больше байтов, чем в исходной строке, пропустите сжатие и кодирование Если вы можете сохранить исходную строку в байтовом массиве, содержащем 8-битную кодировку (ISO-8859-1 или аналогичную), вам, возможно, будет лучше без сжатия и кодирования.
laune 20 фев. 2018, в 12:52

Показать ещё 4 комментария

Теги:

mysql

java

compression

1 ответ

Ещё вопросы

Результатом кодирования в Base64 является byte[] и вы можете создать строку из этого - где ваша проблема?
@laune это сжимает данные? Кодирование не гарантирует сжатие данных правильно? Я просто хочу знать хороший способ сжать эту строку и сохранить ее в поле varchar
Кодировка Base64 гарантирует увеличение размера на 33%.
@ chrylis, так что у вас есть предложение по этому вопросу. Нужно сжать и хранить его в поле varchar
Не используйте VARCHAR, используйте все, что MySQL использует для двоичных данных ... VARBINARY, BLOB и т. Д.
Вы показали последовательность, которая сжимает и кодирует: у вас есть байт []. Если при сжатии и кодировании получается больше байтов, чем в исходной строке, пропустите сжатие и кодирование Если вы можете сохранить исходную строку в байтовом массиве, содержащем 8-битную кодировку (ISO-8859-1 или аналогичную), вам, возможно, будет лучше без сжатия и кодирования.

ilooner · Answer 1 · 2018-02-17T04-44-00.000Z

Вы можете преобразовать String в байты, вызвав метод getBytes. Затем вы можете использовать java.util.Deflater, как описано в этом вопросе: библиотека Java для сжатия (например, LZW) строки. Deflater предоставит вам сжатый массив байтов, который вы должны установить в столбце varchar в mysql.

Могу ли я просто отправить byte [] на запрос вставки в БД?
Зависит от того, какую библиотеку вы используете. Если вы используете библиотеку mysql jdbc напрямую, вы сможете это сделать. Смотрите пример в ответе на этот вопрос: stackoverflow.com/questions/1324641/…
не указывает вставку в поле VARCHAR. Или вы можете указать мне на правильный сегмент.
Вы правы, этот пример показывает хранение байтового массива в BLOB-объекте. Я предполагаю, что единственный вариант - сжать с помощью Deflater, а затем закодировать байтовый массив в строку Base64, как предложено @laune. Надеемся, что Deflater сжимает данные больше, чем кодирует Base64. Вы можете попробовать сравнить это с несколькими образцами данных, чтобы убедиться, что вы достигли желаемой степени сжатия.