Управление многими ГБ данных на диске, прямой доступ

Question

Управление многими ГБ данных на диске, прямой доступ

0

Я пытаюсь выяснить, готов ли я решить проблему, которая заинтересовала меня. Чтобы решить проблему, мне нужно будет создать двоичный файл из более чем одного TB. Если мне очень повезет, это может быть уменьшено до 300 ГБ, что будет минимальным объемом памяти, необходимой для решения моей проблемы. Очевидно, что данные не могут храниться в ОЗУ, поэтому я должен выяснить, как и когда писать на диск (и читать с).

Я думаю, что обычные способы записи на диск не могут быть и речи. fstream потерпит неудачу, когда попытается загрузить файл в память. Кто-нибудь знает о (предпочтительно переносимых) методах, которые могут читать и записывать непосредственно на диск без предварительного кэширования (частей) данных? Мне также пришло в голову, что мне может даже не понадобиться файловая система для этого. Не могу ли я просто перевернуть биты на диск напрямую (без использования emacs ' Mx butterfly)?

JorenHeit 03 фев. 2014, в 12:49

Источник

0

Как видно из описания , что данные должны быть записаны и считаны с помощью прямого доступа. Поэтому структура данных, лежащая в основе этих данных, должна быть тщательно спроектирована. Упаковка (или тщательное расположение) структурных полей, используя наименьшее возможное intN_t и т. Д.
laune 03 фев. 2014, в 11:36
0

@laune Я на самом деле планирую манипулировать отдельными битами. Каждый бит в 300 ГБ соответствует определенному состоянию, которое мне нужно проверить .
JorenHeit 03 фев. 2014, в 11:39
0

«Очевидно, что данные не могут храниться в оперативной памяти». Нет? Это не так уж чрезмерным. К сожалению, у Amazon только 244 ГБ экземпляров, но есть много коммерческих серверных конструкций, которые с радостью поддерживают 1 ТБ ОЗУ.
MSalters 03 фев. 2014, в 15:28
0

@MSalters Хаха, хорошо, хорошо, ты прав. Но я хочу сделать это прямо здесь, на моем ноутбуке, если это вообще возможно. Если нет, прикрути это ... ведь это всего лишь игрушечный проект.
JorenHeit 03 фев. 2014, в 16:22

Показать ещё 2 комментария

Теги:

c++

file

binary

1 ответ

Ещё вопросы

Как видно из описания , что данные должны быть записаны и считаны с помощью прямого доступа. Поэтому структура данных, лежащая в основе этих данных, должна быть тщательно спроектирована. Упаковка (или тщательное расположение) структурных полей, используя наименьшее возможное intN_t и т. Д.
@laune Я на самом деле планирую манипулировать отдельными битами. Каждый бит в 300 ГБ соответствует определенному состоянию, которое мне нужно проверить .
«Очевидно, что данные не могут храниться в оперативной памяти». Нет? Это не так уж чрезмерным. К сожалению, у Amazon только 244 ГБ экземпляров, но есть много коммерческих серверных конструкций, которые с радостью поддерживают 1 ТБ ОЗУ.
@MSalters Хаха, хорошо, хорошо, ты прав. Но я хочу сделать это прямо здесь, на моем ноутбуке, если это вообще возможно. Если нет, прикрути это ... ведь это всего лишь игрушечный проект.

Mehrdad · Accepted Answer · 2014-02-03T09-59-00.000Z

3

Лучший ответ

Я думаю, что файл с отображением памяти (в 64-битной системе) именно то, что вам нужно.

Вы просто сопоставляете весь файл в память и манипулируете им, как обычную структуру данных; операционная система заботится о загрузке и выгрузке данных в/из памяти.

Это не стандарт C++, но есть реализация Boost, которая должна работать на основных платформах.

Mehrdad 03 фев. 2014, в 09:59

0

Просто чтобы быть понятным, реализация Boost также будет работать для файлов, которые не помещаются в системную память? Я только что узнал, что виртуальное адресное пространство в 64-битной системе может быть 8 ТБ, так что это должно работать, верно?
JorenHeit 03 фев. 2014, в 11:41
0

@JorenHeit: Да, если у вас достаточно адресного пространства (что вы практически всегда делаете в 64-битной версии), файл «там» в памяти. Факт, что это фактически не загружено в память, не имеет отношения к программе; программа может притвориться, что все это есть.
Mehrdad 03 фев. 2014, в 11:45
0

Круто, теперь все, что мне нужно, это диск 2TB ...
JorenHeit 03 фев. 2014, в 12:15
0

@JorenHeit Прежде чем раскатать тесто, рассмотрим 300 ГБ с одним битом на состояние и операции для setBit и clearBit. Отображение памяти в файле означает, что страницы (размер зависит от ОС, допустим, 4 КБ) читаются и записываются, поэтому вы будете иметь это для однобитной операции. Конечно, страницы хранятся в памяти как можно дольше, но в конечном итоге страницы должны быть выгружены. Таким образом, общее поведение зависит от «местоположения» вашей программы, т. Е. Не случайности ее битовых обращений. Будьте осторожны - тест может показать, будет ли это возможно в конце концов.
laune 03 фев. 2014, в 12:39
0

@laune Спасибо за советы. Я уже использую один бит на состояние, и я думаю, что многие операции чтения и записи будут близки друг к другу, но я не уверен, насколько близко ... Посмотрим :-)
JorenHeit 03 фев. 2014, в 13:50

Показать ещё 3 комментария