Хранение чрезвычайно больших массивов

Question

Хранение чрезвычайно больших массивов

1

У меня проблема. Я работаю в Java, Eclipse. Моя программа вычисляет некоторую математическую физику, и мне нужно нарисовать анимацию (пакет Java SWT) процесса (некоторая гидродинамика). Проблема в 2D, поэтому каждая итерация возвращает двумерный массив чисел. Одна итерация занимает довольно много времени и времени, необходимых для изменения итерации с одной итерации на другую, поэтому динамическое отображение изображений, поскольку работа с программами кажется плохой идеей. В этом случае моя идея состояла в том, чтобы хранить трехмерный массив, где третий индекс представляет время и построение анимации при завершении вычислений. Но в этом случае, так как я хочу точно с моей программы, мне нужно много итераций, поэтому программа легко достигает максимального размера массива. Поэтому возникает вопрос: как мне избежать создания такого огромного массива или как избежать ограничений на размер массива? Я думал о создании специального файла для хранения данных, а затем чтения из него, но я не уверен в этом. У тебя есть идеи?

instop 25 апр. 2014, в 21:29

Источник

0

Сколько у тебя памяти? Бьюсь об заклад, вам не хватит памяти, прежде чем вы столкнетесь с ограничениями размера массива. Вы можете попробовать распределенное решение, такое как memcached / redis, но вам нужно будет придумать более умную структуру данных, чем просто массив.
Kayaman 25 апр. 2014, в 19:12
0

@instop: попробуйте, если это работает, тогда хорошо, иначе приходите снова. По крайней мере, попробуйте.
Hello World 25 апр. 2014, в 19:13
1

Я не рекомендую добавлять размеры в ваш массив. Хотя их легче читать, они абстрагируются от данных; каждая абстракция стоит производительности. Используйте необработанные двоичные данные, если у вас есть возможность, и делайте все возможное, чтобы загрузить только то, что вам нужно. Выполните несколько итераций и сохраните несколько «кадров» времени в файле и повторите с новым файлом. Для отображения загрузите первый существующий файл и отображайте их по порядку, пока у вас не закончатся полные файлы для отображения.
Aarowaim 25 апр. 2014, в 19:20
0

По сути, применять концепцию разделяй и властвуй.
Aarowaim 25 апр. 2014, в 19:22
0

Спасибо за ответы, попробую.
instop 25 апр. 2014, в 19:28
0

Вы пытались записать данные на диск и затем обработать их в анимации? Дисковое пространство в наши дни дешевое, и если вы выводите массив с фиксированным размером, поиск правильной записи очень прост. Если нет, просто запишите смещения в отдельный индексный файл.
Hristo Iliev 26 апр. 2014, в 09:10

Показать ещё 4 комментария

Теги:

java

arrays

modeling

overflow

physics

1 ответ

Ещё вопросы

Сколько у тебя памяти? Бьюсь об заклад, вам не хватит памяти, прежде чем вы столкнетесь с ограничениями размера массива. Вы можете попробовать распределенное решение, такое как memcached / redis, но вам нужно будет придумать более умную структуру данных, чем просто массив.
@instop: попробуйте, если это работает, тогда хорошо, иначе приходите снова. По крайней мере, попробуйте.
Я не рекомендую добавлять размеры в ваш массив. Хотя их легче читать, они абстрагируются от данных; каждая абстракция стоит производительности. Используйте необработанные двоичные данные, если у вас есть возможность, и делайте все возможное, чтобы загрузить только то, что вам нужно. Выполните несколько итераций и сохраните несколько «кадров» времени в файле и повторите с новым файлом. Для отображения загрузите первый существующий файл и отображайте их по порядку, пока у вас не закончатся полные файлы для отображения.
По сути, применять концепцию разделяй и властвуй.
Вы пытались записать данные на диск и затем обработать их в анимации? Дисковое пространство в наши дни дешевое, и если вы выводите массив с фиксированным размером, поиск правильной записи очень прост. Если нет, просто запишите смещения в отдельный индексный файл.

Rich Pickering · Answer 1 · 2014-04-25T17-16-00.000Z

Когда я работал над системой формирования процедурной архитектуры в университете для моей диссертации, я создал небольшие, очень легко читаемые и проанализированные двоичные файлы для рассчитанных данных. Это означало, что данные можно было прочитать в течение приемлемого времени, несмотря на то, что они были довольно большим количеством данных...

Я бы посоветовал сделать то же самое для ваших анимаций... Это может быть полезно хранить, может быть, пять секунд анимации за файл, а затем кэшировать каждый из них, поскольку они уже потребуются...

Кроме того, насколько велики ваши массивы, вы можете увеличить объем памяти, которую JVM сможет выделить, если он не максимальный размер массива, а максимальные ограничения памяти, которые вы нажимаете.

Надеюсь, это поможет, и это не просто мои бред...