Как использовать java.util.GZIPOutputStream или любой другой для хранения нескольких записей в виде одного файла, где каждая запись упакована по отдельности?

Question

Как использовать java.util.GZIPOutputStream или любой другой для хранения нескольких записей в виде одного файла, где каждая запись упакована по отдельности?

1

Как использовать java.util.GZIPOutputStream или любой другой для хранения нескольких записей в виде одного файла, где каждая запись застегивается по отдельности?

Это необходимо для поиска файла для отдельной записи и разархивирования только.

Я прочитал HBase, делая то же самое для hfile. Но я получаю проблемы с записью мудрый zip в одном файле.

Upendra 13 март 2014, в 18:06

Источник

Теги:

java

2 ответа

Ещё вопросы

Erwin Bolwidt · Answer 1 · 2014-03-13T15-25-00.000Z

0

Используйте java.util.zip.ZipOutputStream. Прежде чем писать новую "запись", вызовите ZipOuputStream.putNextEntry чтобы указать, что вы хотите записать следующую запись, и передать в ZipEntry в качестве аргумента имя файла, который вы хотите установить для следующей записи.

Erwin Bolwidt 13 март 2014, в 15:25

0

Есть ли другие альтернативы .... у меня 10-20 нет. файлов и общий размер будет 25-30 МБ (без сжатия) (как ограничение размера почты). Я не проверял с этим, но получил некоторую информацию, поскольку это будет ~ 50% медленнее по сравнению с обычной записью. Мне нужна скорость, а также хорошее сжатие. Мне еще предстоит проверить производительность чтения и записи с помощью java.util.zip.ZipOutputStream. Спасибо за ваше ценное предложение.
Upendra 13 март 2014, в 17:45
0

Перед вашим предложением я думаю применить как HBase со своим hfile (storeFile). где формат файла: (DATA1 DATA2 DATA3 ... | Метаданные | Трейлер). где DATA1, DATA2 ... моя другая часть почты, а Meta будет держать смещение каждой начальной позиции DATA. а один трейлер - это длинное значение, которое будет содержать смещение всей стартовой позиции Meta. У меня есть программа, которая может легко писать / читать содержимое одной почты. Но приходится применять сжатие к каждой информации. кроме меты и трейлера.
Upendra 13 март 2014, в 17:57
0

Не должно быть слишком сложно добавить некоторые граничные кадры между выходами из нескольких GZipOutputStreams - особенно если вы знаете длину (несжатых) данных, вы можете записать длину следующего раздела в файле перед данными, и когда вы читаете его обратно, убедитесь, что GZipInputStream может читать только столько байтов - передав ему свой собственный подкласс FilterInputStream, который не будет читать больше байтов, чем это, и притворяетесь, что после этого есть конец файла.
Erwin Bolwidt 15 март 2014, в 05:52
0

Привет, Эрвин! Я хочу сохранить более одного файла в один файл в следующем формате: File1 | File2 | File3 .... | Meta | Трейлер, где Fiile1, File2 ... - содержимое соответствующих файлов, а Meta - (версия , количество файлов), длина имени файла, имя файла, смещение, размер каждого файла и трейлер содержат смещение начала мета. Я могу объединить и прочитать обычный файл. но не могу понять, как я могу использовать GzipOutputStream / GzipInputStream с этим. Если вы можете дать мне пример / скелетный код, тогда это будет лучше для меня. Спасибо...
Upendra 26 март 2014, в 05:32

Показать ещё 2 комментария

Manvendra Gupta · Answer 2 · 2014-03-13T15-08-00.000Z

Используйте ZipOutputStream с ZipEntry для каждой записи.

Вы должны иметь возможность извлекать определенные записи (ZipEntry), когда захотите, без необходимости разархивировать весь файл.

Спасибо Манвендра ... Есть ли другая альтернатива, чтобы получить быстрое чтение / запись, а также хорошее сжатие. Я должен использовать это для хранения одной почты в виде одного сжатого файла. где каждая почта в среднем 10-20 нет. различных кусков / содержимого и общего размера будет ~ 30 МБ.