Зачем использовать deflate вместо gzip для текстовых файлов, обслуживаемых Apache?

Question

Зачем использовать deflate вместо gzip для текстовых файлов, обслуживаемых Apache?

196

Какие преимущества предлагает какой-либо метод для файлов html, css и javascript, обслуживаемых сервером LAMP. Есть ли лучшие альтернативы?

Сервер предоставляет информацию в приложении карты с помощью Json, поэтому большой объем небольших файлов.

См. также Есть ли какой-либо удар производительности при выборе gzip для дефляции для сжатия HTTP?

Ken 23 дек. 2008, в 09:29

Источник

0

поменял принятые ответы ... текущий консенсус два к одному в пользу gzip
Ken 02 окт. 2012, в 21:15
1

mod_deflate для Apache 2, mod_gzip для Apache 1.3.
SPRBRN 17 окт. 2014, в 12:30

Теги:

apache

compression

gzip

lamp

deflate

9 ответов

165

GZip просто сбрасывается плюс контрольная сумма и верхний/нижний колонтитул. Deflate быстрее, тем не менее, поскольку Я усвоил трудный путь.

gzip vs deflate graph

Jeff Atwood 23 дек. 2008, в 11:36

0

Кажется, в основном это контрольная сумма, которая будет соответствовать меньшей разнице в более быстрых системах.
schnaader 23 дек. 2008, в 11:17
0

На чипах Intel это не имеет большого значения, поскольку они получают эту причудливую инструкцию SSE4.2 "CRC32" ...
user42092 22 фев. 2009, в 18:01
0

но только самые новейшие чипы Intel - Core i7 или лучше
Jeff Atwood 05 май 2009, в 02:36
12

Не говоря уже о том, что zlib не поддерживает расширение, и даже если бы оно было, инструкция CRC32 в SSE 4.2 использует полином 1EDC6F41, а формат gzip использует полином EDB88320 - совершенно разные алгоритмы, эффективно.
Jack Lloyd 20 окт. 2009, в 15:59
7

И поскольку deflate быстрее, почему SO использует gzip?
David Murdoch 16 сен. 2010, в 12:51
0

На самом деле Deflate - это формат zlib, который представляет собой необработанные данные deflate с гораздо меньшим заголовком и более дешевой контрольной суммой Adler32 в конце.
Randy the Dev 27 сен. 2010, в 11:06
38

Что ж, этот ответ оказывается неверным ... см .: zoompf.com/blog/2012/02/lose-the-wait-http-compression ... в частности, у клиента есть 2 способа, которыми они могут "интерпретировать" дефляцию, без заголовка / контрольной суммы и с заголовком zlib. Реализация во всех браузерах правильного дефлята плохая. следует избегать выкачивания.
Sam Saffron 24 март 2012, в 23:36
4

@sam Кроме того, я просто перезапустил тесты и на современном чипе Intel я получил gzip 1441/692 и выкачал 1286/531. Второе число - декомпрессия, первое - компресс. Так выкачать еще быстрее, сделать ваши тесты показывают , в противном случае? (Я согласен, что это может быть бесполезно по другим причинам, но ответ правильный , выкачка быстрее ..)
Jeff Atwood 27 март 2012, в 07:04
6

@JeffAtwood но вопрос не был быстрее?
Ken 15 май 2012, в 21:44
3

@Ken Ваш вопрос был: What advantages ... for ... files served by LAMP server? , И производительность одна из проблем на стороне сервера для любого , кто успешно привлекает множество запросов. Так что сравнение производительности Джеффа - главное в его ответе - уместно. По совпадению, комментарий Сэма вообще не касается этого. Я предполагаю, что он просто критикует GZip is simply deflate plus a checksum and header/footer ввод GZip is simply deflate plus a checksum and header/footer , что может быть технически неверно.
Eugene Beresovsky 27 июнь 2014, в 20:59
0

Извините, но вы, кажется, сравниваете яблоки с апельсинами. Deflate - это алгоритм сжатия, а GZip - формат файла. Единственное отличие состоит в том, что GZip вычисляет контрольную сумму (CRC-32).
mar 23 июль 2017, в 18:07
0

CRC-32 работает медленно, Adler32 также работает медленно. Они могут легко составлять эти дополнительные 20-40%. Поэтому, естественно, нет контрольной суммы быстрее. Но тогда вы также не можете обнаружить поврежденные потоки.
mar 23 июль 2017, в 18:13

Показать ещё 10 комментариев

12

Вероятно, вы не сможете выбрать дефляцию в качестве опции. Вопреки тому, что вы можете ожидать, mod_deflate не использует deflate, а gzip. Таким образом, хотя большая часть сделанных баллов действительна, скорее всего, это не относится к большинству.

Amblyopius 12 дек. 2012, в 11:29

3

Основная причина заключается в том, что дефляция быстрее кодируется, чем gzip и на занятом сервере, что может иметь значение. С статическими страницами это другой вопрос, так как их можно легко предварительно предварительно сжать.

Joachim Sauer 23 дек. 2008, в 12:24

0

предположительно, с помощью gzip вы не можете начать передачу заголовка, пока не получите, не сохраните и не сожмете все данные? (потому что вам нужна контрольная сумма для создания заголовка)
OJW 30 июнь 2009, в 11:25
7

В формате gzip контрольная сумма идет в конце файла, в частности, поэтому можно начинать запись блоков с дефляцией по мере их обработки, не задерживая все.
Jack Lloyd 20 окт. 2009, в 16:00

3

Я думаю, что нет большой разницы между deflate и gzip, потому что gzip в основном представляет собой только заголовок, обернутый вокруг deflate (см. RFC 1951 и 1952).

schnaader 23 дек. 2008, в 11:56

1

Не должно быть никакой разницы в gzip и deflate для декомпрессии. Gzip просто сбрасывается с несколькими десятками байт-заголовков, обернутых вокруг него, включая контрольную сумму. Контрольная сумма является причиной более медленного сжатия. Однако, когда вы предварительно сжимаете zillions файлов, вы хотите, чтобы эти контрольные суммы были проверкой на работоспособность в вашей файловой системе. Кроме того, вы можете использовать инструменты командной строки для получения статистики по файлу. Для нашего сайта мы прекомпрессируем массу статических данных (весь открытый каталог, 13 000 игр, автозаполнение для миллионов ключевых слов и т.д.), И мы оцениваем себя на 95% быстрее, чем все веб-сайты Alexa. Поиск факсов. Тем не менее, мы используем домашний веб-сервер. Apache/mod_deflate просто не сократил его. Когда эти файлы сжимаются в файловую систему, вы не только получаете удар для своего файла с минимальным размером блока файловой системы, но и все ненужные накладные расходы при управлении файлом в файловой системе, о котором веб-сервер может заботиться меньше. Ваши проблемы должны быть общими дисками и временем доступа/декомпрессии и, во-вторых, скоростью, позволяющей предварительно сжать эти данные. Отпечаток очень важен, потому что хотя дисковое пространство дешево, вы хотите как можно больше поместиться в кеш.

Steven 20 окт. 2009, в 16:55

0

GZip, вероятно, проверяет контрольную сумму при распаковке, отсюда и разница в скорости при распаковке.
Seun Osewa 05 нояб. 2009, в 08:02

1

mod_deflate требует меньше ресурсов на вашем сервере, хотя вы можете заплатить небольшой штраф за количество сжатия.

Если вы обслуживаете множество небольших файлов, я бы рекомендовал бенчмаркинг и загрузку ваших сжатых и несжатых решений - вы можете найти некоторые случаи, когда включение сжатия не приведет к экономии.

Dave R. 23 дек. 2008, в 12:56

0

Только для справок в будущем:

В системе debian (я нахожусь на ubuntu) с Apache2 и уже установленным модулем дефляции (который он по умолчанию) вы можете включить сжатие дефляции двумя простыми шагами:

a2enmod deflate
/etc/init.d/apache2 force-reload

И ты далеко! Я обнаружил, что страницы, которые я обслуживал, подключили мое приложение adsl MUCH быстрее!

aidan 22 апр. 2009, в 15:34

5

За исключением того, что это позволяет gzip, так как mod_deflate сбивает с толку только сжатие gzip ...
Gert van den Berg 24 июль 2014, в 10:38
0

@GertvandenBerg Я обновил свой ответ, но для записи gzip является deflate, только с дополнительными заголовками и контрольной суммой
aidan 26 янв. 2018, в 01:45
0

@aiden да, но контрольная сумма влияет на производительность ... (а необработанный дефлят не соответствует стандарту)
Gert van den Berg 27 янв. 2018, в 03:51

Показать ещё 1 комментарий

-5

если я правильно помню

gzip будет сжимать немного больше, чем выкачать
deflate более эффективен

JimmyJ 23 дек. 2008, в 12:11

2

gzip является дефлятом с заголовком. И HTTP 1.1 deflate - это на самом деле zlib (который также является оболочкой для deflate)
David Murdoch 20 окт. 2009, в 19:14

Ещё вопросы

поменял принятые ответы ... текущий консенсус два к одному в пользу gzip
Кажется, в основном это контрольная сумма, которая будет соответствовать меньшей разнице в более быстрых системах.
На чипах Intel это не имеет большого значения, поскольку они получают эту причудливую инструкцию SSE4.2 "CRC32" ...
но только самые новейшие чипы Intel - Core i7 или лучше
Не говоря уже о том, что zlib не поддерживает расширение, и даже если бы оно было, инструкция CRC32 в SSE 4.2 использует полином 1EDC6F41, а формат gzip использует полином EDB88320 - совершенно разные алгоритмы, эффективно.
И поскольку deflate быстрее, почему SO использует gzip?
На самом деле Deflate - это формат zlib, который представляет собой необработанные данные deflate с гораздо меньшим заголовком и более дешевой контрольной суммой Adler32 в конце.
Что ж, этот ответ оказывается неверным ... см .: zoompf.com/blog/2012/02/lose-the-wait-http-compression ... в частности, у клиента есть 2 способа, которыми они могут "интерпретировать" дефляцию, без заголовка / контрольной суммы и с заголовком zlib. Реализация во всех браузерах правильного дефлята плохая. следует избегать выкачивания.
@sam Кроме того, я просто перезапустил тесты и на современном чипе Intel я получил gzip 1441/692 и выкачал 1286/531. Второе число - декомпрессия, первое - компресс. Так выкачать еще быстрее, сделать ваши тесты показывают , в противном случае? (Я согласен, что это может быть бесполезно по другим причинам, но ответ правильный , выкачка быстрее ..)
@Ken Ваш вопрос был: What advantages ... for ... files served by LAMP server? , И производительность одна из проблем на стороне сервера для любого , кто успешно привлекает множество запросов. Так что сравнение производительности Джеффа - главное в его ответе - уместно. По совпадению, комментарий Сэма вообще не касается этого. Я предполагаю, что он просто критикует GZip is simply deflate plus a checksum and header/footer ввод GZip is simply deflate plus a checksum and header/footer , что может быть технически неверно.
Извините, но вы, кажется, сравниваете яблоки с апельсинами. Deflate - это алгоритм сжатия, а GZip - формат файла. Единственное отличие состоит в том, что GZip вычисляет контрольную сумму (CRC-32).
CRC-32 работает медленно, Adler32 также работает медленно. Они могут легко составлять эти дополнительные 20-40%. Поэтому, естественно, нет контрольной суммы быстрее. Но тогда вы также не можете обнаружить поврежденные потоки.
предположительно, с помощью gzip вы не можете начать передачу заголовка, пока не получите, не сохраните и не сожмете все данные? (потому что вам нужна контрольная сумма для создания заголовка)
В формате gzip контрольная сумма идет в конце файла, в частности, поэтому можно начинать запись блоков с дефляцией по мере их обработки, не задерживая все.
GZip, вероятно, проверяет контрольную сумму при распаковке, отсюда и разница в скорости при распаковке.
За исключением того, что это позволяет gzip, так как mod_deflate сбивает с толку только сжатие gzip ...
@GertvandenBerg Я обновил свой ответ, но для записи gzip является deflate, только с дополнительными заголовками и контрольной суммой
@aiden да, но контрольная сумма влияет на производительность ... (а необработанный дефлят не соответствует стандарту)
gzip является дефлятом с заголовком. И HTTP 1.1 deflate - это на самом деле zlib (который также является оболочкой для deflate)

Sam Saffron · Accepted Answer · 2012-03-25T01-25-00.000Z

Зачем использовать deflate вместо gzip для текстовых файлов, обслуживаемых Apache?

Простой ответ не.

RFC 2616 определяет deflate как:

deflate Формат "zlib", определенный в RFC 1950, в сочетании с механизмом сжатия "спуска", описанным в RFC 1951

Формат zlib определен в RFC 1950 как:

     0   1
     +---+---+
     |CMF|FLG|   (more-->)
     +---+---+

       0   1   2   3
     +---+---+---+---+
     |     DICTID    |   (more-->)
     +---+---+---+---+

     +=====================+---+---+---+---+
     |...compressed data...|    ADLER32    |
     +=====================+---+---+---+---+

Итак, несколько заголовков и контрольная сумма ADLER32

RFC 2616 определяет gzip как:

gzip Формат кодировки, созданный программой сжатия файлов "gzip" (GNU zip), как описано в RFC 1952 [25]. Этот формат является Lempel-Ziv (LZ77) с 32-битным CRC.

RFC 1952 определяет сжатые данные как:

Формат в настоящее время использует метод сжатия DEFLATE, но его можно легко расширить, чтобы использовать другие методы сжатия.

CRC-32 медленнее, чем ADLER32

По сравнению с проверкой циклической избыточности той же длины, она торгует надёжностью для скорости (предпочитая последнюю).

Итак... у нас есть 2 механизма сжатия, которые используют алгоритм тот же для сжатия, но отличный алгоритм для заголовков и контрольной суммы.

Теперь основные TCP-пакеты уже довольно надежны, поэтому проблема здесь не в Adler 32 vs CRC-32, который использует GZIP.

В последние годы во многих браузерах реализован неправильный алгоритм спуска. Вместо ожидания заголовка zlib в RFC 1950 они просто ожидали сжатую полезную нагрузку. Подобным же образом различные веб-серверы совершили ту же ошибку.

Итак, на протяжении многих лет браузеры начали реализацию дефляции нечеткой логики, они пытаются использовать zlib-заголовок и контрольную сумму adler, если это не удается, они пытаются загрузить полезную нагрузку.

Результатом такой сложной логики является то, что она часто нарушается. В Verve Studio есть пользовательский тест, который показывает, насколько плоха ситуация.

Например: deflate работает в Safari 4.0, но нарушается в Safari 5.1, он также всегда имеет проблемы с IE.

Итак, лучше всего избегать сползания, незначительное повышение скорости (из-за adler 32) не стоит риска сломанных полезных нагрузок.

Разве не должно быть нового стандарта, который объединяет adler32 с gzip?
@Sam Saffron, это значит, что если на картинке нет веб-браузера, я могу использовать deflate поверх gzip? Например, если я собираюсь загрузить сжатый файл на мой FTP-сервер.
Другое очень незначительное отличие состоит в том, что оболочка zlib составляет шесть байтов против 18 байтов для gzip. Так что для очень маленьких пакетов может быть выгодно отправлять на 12 байт меньше. Вывод не меняется, однако, что из-за того, что Microsoft все испортила, неправильно истолковав, что означает «дефляция» в том, что они поставляли на свои серверы IIS, проще использовать формат gzip.
Но как может быть нарушена полезная нагрузка, если она передается по протоколу TCP? Вся идея TCP заключается в передаче непрерывных полезных данных.