Как разобрать большие файлы с помощью flatpack

Question

Как разобрать большие файлы с помощью flatpack

1

Мне нужно разбирать файлы, которые могут быть довольно большими, возможно, 100 мегабайт и миллионы строк. Я пытаюсь сделать это с помощью FlatPack. Я бы подумал, что способ сделать это будет использовать буферизованные парсеры и новые методы потока. Но, несмотря на то, что dataset.next() возвращает true для правильного количества записей, Опция, возвращаемая dataset.getRecord(), никогда не содержит значения.

Я просмотрел этот пример/test, но он учитывает только количество записей и фактически ничего не делает с содержимым. Пример/тест

user1723105 30 март 2015, в 05:49

Источник

Теги:

java

flatpack

2 ответа

Ещё вопросы

Kara · Answer 1 · 2016-04-07T04-26-00.000Z

Объяснения как для DefaultParserFactory, так и для BuffReaderParseFactory не совсем полезны. Обе библиотеки сказали вернуть PZParser (из newDelimitedParser), но только один из них возвращает фактическое значение из записи. Основываясь на примерах, которые я видел, я думаю, что BuffReaderParseFactory предназначен только для проверки производительности (следовательно, должен быть быстрее), а DefaultParserFactory с другой стороны, содержит все записи.

diogopontual · Answer 2 · 2015-12-14T17-28-00.000Z

Вы можете использовать класс BuffReaderParseFactory вместо DefaultParserFactory.

Он будет читать одну запись из входного файла только при вызове "next()".

Я верю, что пример, на который я ссылался, использует классы Buffered, но он ничего не делает с контентом. Мне нужен доступ к содержимому поля записи, но когда я пытаюсь получить к нему доступ, я получаю ошибки.