Структура файла, чтобы избежать повреждения данных

Question

Структура файла, чтобы избежать повреждения данных

4

В настоящее время я разрабатываю обновление нашего текущего медиа-хранилища (для хранения видео/аудио/метаданных) для системы наблюдения, и я перепроектирую структуру записи в более надежное решение.

Мне нужно создать некоторые данные индекса данных, хранящихся в файлах данных, поэтому я создаю структуру индексных файлов, но я беспокоюсь о сбоях жестких дисков (представьте, будет ли питание отключено во время записи индекса файл, он станет corrup, поскольку данные, скорее всего, будут наполовину записаны). Я уже разработал, как будет храниться индекс, но моя озабоченность связана с повреждением данных при сбое питания или сбое диска.

Итак, кто-нибудь знает методы, чтобы избежать повреждения данных при написании?

Я уже немного искал и не нашел хороших решений, одним из решений было создание журнала всего, что записано в файл, но тогда у меня будет еще много операций ввода-вывода в секунду (я заинтересован в размере I/O в секунду, система должна выполнять как можно меньше).

То, что я придумал, - это дублировать конфиденциальные данные в файле индекса вместе с полями временной метки и контрольной суммы. Например:

Поле1 Поле2 Поле3 Контрольная сумма времени

Итак, у меня есть данные, записанные дважды, если при чтении файла первый набор полей поврежден (Checksum не соответствует), у меня есть второй набор полей, которые должны быть в порядке. Я считаю, что corrupion случается, когда написание, если оно остановлено посередине, так, например, когда программное обеспечение набирает первый набор полей и сбой питания, второй набор по-прежнему остается нетронутым... если сбой питания во время второго набор записывается, первый из них уже не поврежден.

Что вы, ребята, думаете об этом решении? Предотвращает ли это повреждение данных?

Кстати, я не могу использовать любую базу данных для такого типа хранилища или транзакционной NTFS из-за ограничений на развертывание системы с транзакционной NTFS

Любые идеи приветствуются, спасибо!

Eric 17 апр. 2012, в 19:31

Источник

5

Используйте базу данных, а не изобретайте колесо. Вы говорите, что не можете использовать базу данных, но это звучит просто фальшиво. Почему нет?
David Heffernan 17 апр. 2012, в 16:51
1

Я с Дэвидом, использование базы данных является более реальным способом, проверьте Firebird Сколько времени требуется, чтобы восстановить базу данных Firebird после сбоя питания?
RRUZ 17 апр. 2012, в 16:52
1

Что ж, в программном обеспечении для индустрии видеонаблюдения база данных никогда не используется для хранения видео / аудио данных, она скорее используется для хранения конфигураций, журналов, но не данных, связанных с видео / аудио ... Видео / аудио файлы должны быть независимыми, как видео файл (.AVI, WMV ...). Система баз данных также имеет слишком много контроля и накладных расходов для производительности, которую нам нужно достичь. Если бы мне нужно было хранить обычные данные, я бы определенно пошел с базой данных.
Eric 17 апр. 2012, в 17:10
0

«Журнал всего написанного» аналогичен журнальной файловой системе: он сообщает вам, были ли неполные записи. это не означает дублирование всего, на самом деле, это может просто означать сохранение небольшого второго файла. но ... вы связаны с процессором? потому что алгоритмы типа Рида-Соломона - ваш лучший выбор, если вы беспокоитесь строго о вводе-выводе и восстановимости в случае определенных ошибок
std''OrgnlDave 17 апр. 2012, в 17:14
0

Ну, метаданные являются идеальным кандидатом для базы данных. Я знаю несколько систем, которые работают таким образом (мета в БД, контент на отказоустойчивом SAN)
whosrdaddy 17 апр. 2012, в 17:15
0

Вау там! Откуда в этом видео файлы? Вы говорили об индексе, а не о видеофайлах. Поместите индекс в облегченную базу данных, и тогда вы получите устойчивость к сбоям при отключении электроэнергии. Сохраните видеофайлы на диск в виде простых файлов,
David Heffernan 17 апр. 2012, в 17:18
0

Дэвид, это тоже было одним из решений ... видеофайлы никогда не сохраняются в базе данных в любом случае ... Обычно у нас есть несколько разных видеофайлов (каждый видеофайл имеет 50 МБ предварительно выделенного пространства), и группа видеофайлов будет формироваться 1 час записи Мне нужно проиндексировать каждый кадр внутри видеофайла. О базе данных ... полностью ли Firebird устойчив к сбоям питания ... что происходит, когда питание отключается во время операции записи в базу данных? В прошлом у меня уже было некоторое «повреждение файлов» в базах данных Firebird, так что я просто беспокоюсь, что потеряю все из-за повреждения файлов
Eric 17 апр. 2012, в 17:22
0

Действительно, метаданные являются идеальным кандидатом для базы данных. Я рассмотрю вопрос об использовании базы данных ... но давайте просто представим, что я не могу использовать базу данных. Это приложение полностью связано с вводом / выводом, и использование диска действительно велико (есть клиенты, которым нужно записывать 800 МБ видео в секунду (100 МБ)), и вся эта информация должна быть быстро проиндексирована и сохранена с использованием минимального количества операций ввода / вывода. операции возможны.
Eric 17 апр. 2012, в 17:26
1

Я понимаю ваши проблемы с производительностью, но я бы все-таки воспользовался советом, изложенным выше, и сначала изучил бы системы баз данных, прежде чем изобретать велосипед. Рассмотрим стоимость тех, кто будет поддерживать ваше творение еще долго после вашего продвижения :)
John Easley 17 апр. 2012, в 17:33
0

Любая хорошая БД устойчива к сбоям питания. Если индекс файлов не является идеальным кандидатом в БД, то я не знаю, что это такое.
David Heffernan 17 апр. 2012, в 17:38
0

Дэвид Ладно, я буду исследовать использование файла базы данных для некоторых необходимых мне индексов ... но у меня все еще есть проблема, которую невозможно решить с помощью системы баз данных ... то есть мне нужно индексировать данные внутри записывающий файл (каждый видеокадр), так как у меня может быть, например, 5000 кадров в секунду (и это не так уж много), я не думаю, что простое решение для базы данных может хранить до 5000 записей в секунду при низком процессоре использование и низкие операции ввода-вывода. Поэтому мне нужна специальная структура индекса внутри файла записи, чтобы указывать на правильное расположение кадра
Eric 17 апр. 2012, в 17:44
0

внутри файла записи, и у меня уже есть эта структура индекса разработана. Итак, мой вопрос состоит в том, чтобы избежать повреждения этих данных индекса внутри данных записи, поскольку некоторые части индекса (внутри файла записи) будут постоянно обновляться. Мне нужно, чтобы избежать повреждения некоторых данных при сбое питания. Итак, как вы думаете, если я дублирую данные, я смогу достичь какой-то защиты?
Eric 17 апр. 2012, в 17:46
0

Другое дело ... использование базы данных означает, что мне нужно развернуть систему базы данных на компьютерах, чтобы иметь возможность читать базу данных, хорошо ... когда нашему клиенту необходимо, например, отправить видеоматериалы в полицию, это если у меня есть видеопроигрыватель, если я использую систему базы данных для чтения видеофайлов, мне нужно включить систему базы данных в простое приложение видеопроигрывателя, что плохо, даже если используется встроенная база данных (что ограничивает меня одним подключением)
Eric 17 апр. 2012, в 17:58
0

5000 записей в секунду? Это тривиальное требование. Во всяком случае, вы хотите сделать это самостоятельно, и я высказал свою точку зрения, поэтому я думаю, что мы согласны не согласиться.
David Heffernan 17 апр. 2012, в 20:01
1

Существуют встроенные системы баз данных, которые вы можете использовать, которые не требуют развертывания баз данных, такие как DBISAM.
John Easley 17 апр. 2012, в 20:02
0

Я использую DBISAM для индексации данных, хранящихся во внешних файлах. Если все пойдет не так, я могу просто стереть файлы базы данных, и приложение снова создаст индекс.
mj2008 18 апр. 2012, в 08:26

Показать ещё 14 комментариев

Теги:

c++

delphi

data-integrity

integrity

3 ответа

Ещё вопросы

Используйте базу данных, а не изобретайте колесо. Вы говорите, что не можете использовать базу данных, но это звучит просто фальшиво. Почему нет?
Я с Дэвидом, использование базы данных является более реальным способом, проверьте Firebird Сколько времени требуется, чтобы восстановить базу данных Firebird после сбоя питания?
Что ж, в программном обеспечении для индустрии видеонаблюдения база данных никогда не используется для хранения видео / аудио данных, она скорее используется для хранения конфигураций, журналов, но не данных, связанных с видео / аудио ... Видео / аудио файлы должны быть независимыми, как видео файл (.AVI, WMV ...). Система баз данных также имеет слишком много контроля и накладных расходов для производительности, которую нам нужно достичь. Если бы мне нужно было хранить обычные данные, я бы определенно пошел с базой данных.
«Журнал всего написанного» аналогичен журнальной файловой системе: он сообщает вам, были ли неполные записи. это не означает дублирование всего, на самом деле, это может просто означать сохранение небольшого второго файла. но ... вы связаны с процессором? потому что алгоритмы типа Рида-Соломона - ваш лучший выбор, если вы беспокоитесь строго о вводе-выводе и восстановимости в случае определенных ошибок
Ну, метаданные являются идеальным кандидатом для базы данных. Я знаю несколько систем, которые работают таким образом (мета в БД, контент на отказоустойчивом SAN)
Вау там! Откуда в этом видео файлы? Вы говорили об индексе, а не о видеофайлах. Поместите индекс в облегченную базу данных, и тогда вы получите устойчивость к сбоям при отключении электроэнергии. Сохраните видеофайлы на диск в виде простых файлов,
Дэвид, это тоже было одним из решений ... видеофайлы никогда не сохраняются в базе данных в любом случае ... Обычно у нас есть несколько разных видеофайлов (каждый видеофайл имеет 50 МБ предварительно выделенного пространства), и группа видеофайлов будет формироваться 1 час записи Мне нужно проиндексировать каждый кадр внутри видеофайла. О базе данных ... полностью ли Firebird устойчив к сбоям питания ... что происходит, когда питание отключается во время операции записи в базу данных? В прошлом у меня уже было некоторое «повреждение файлов» в базах данных Firebird, так что я просто беспокоюсь, что потеряю все из-за повреждения файлов
Действительно, метаданные являются идеальным кандидатом для базы данных. Я рассмотрю вопрос об использовании базы данных ... но давайте просто представим, что я не могу использовать базу данных. Это приложение полностью связано с вводом / выводом, и использование диска действительно велико (есть клиенты, которым нужно записывать 800 МБ видео в секунду (100 МБ)), и вся эта информация должна быть быстро проиндексирована и сохранена с использованием минимального количества операций ввода / вывода. операции возможны.
Я понимаю ваши проблемы с производительностью, но я бы все-таки воспользовался советом, изложенным выше, и сначала изучил бы системы баз данных, прежде чем изобретать велосипед. Рассмотрим стоимость тех, кто будет поддерживать ваше творение еще долго после вашего продвижения :)
Любая хорошая БД устойчива к сбоям питания. Если индекс файлов не является идеальным кандидатом в БД, то я не знаю, что это такое.
Дэвид Ладно, я буду исследовать использование файла базы данных для некоторых необходимых мне индексов ... но у меня все еще есть проблема, которую невозможно решить с помощью системы баз данных ... то есть мне нужно индексировать данные внутри записывающий файл (каждый видеокадр), так как у меня может быть, например, 5000 кадров в секунду (и это не так уж много), я не думаю, что простое решение для базы данных может хранить до 5000 записей в секунду при низком процессоре использование и низкие операции ввода-вывода. Поэтому мне нужна специальная структура индекса внутри файла записи, чтобы указывать на правильное расположение кадра
внутри файла записи, и у меня уже есть эта структура индекса разработана. Итак, мой вопрос состоит в том, чтобы избежать повреждения этих данных индекса внутри данных записи, поскольку некоторые части индекса (внутри файла записи) будут постоянно обновляться. Мне нужно, чтобы избежать повреждения некоторых данных при сбое питания. Итак, как вы думаете, если я дублирую данные, я смогу достичь какой-то защиты?
Другое дело ... использование базы данных означает, что мне нужно развернуть систему базы данных на компьютерах, чтобы иметь возможность читать базу данных, хорошо ... когда нашему клиенту необходимо, например, отправить видеоматериалы в полицию, это если у меня есть видеопроигрыватель, если я использую систему базы данных для чтения видеофайлов, мне нужно включить систему базы данных в простое приложение видеопроигрывателя, что плохо, даже если используется встроенная база данных (что ограничивает меня одним подключением)
5000 записей в секунду? Это тривиальное требование. Во всяком случае, вы хотите сделать это самостоятельно, и я высказал свою точку зрения, поэтому я думаю, что мы согласны не согласиться.
Существуют встроенные системы баз данных, которые вы можете использовать, которые не требуют развертывания баз данных, такие как DBISAM.
Я использую DBISAM для индексации данных, хранящихся во внешних файлах. Если все пойдет не так, я могу просто стереть файлы базы данных, и приложение снова создаст индекс.

user496736 · Answer 1 · 2012-04-17T19-52-00.000Z

Игнорирование части вашего вопроса вокруг невозможности использования базы данных:)

Вы можете найти интересующие файлы SQL Server 2012. Вы можете хранить файлы за пределами базы данных в папке, но при этом обращаться к файлам так, как если бы они находились внутри базы данных. Вы можете использовать базу данных для вставки новых файлов в этот каталог или просто скопировать файл в папку. Ваша база данных не будет очень толстой с видеофайлами. Они также не будут доступны, если программное обеспечение сервера db снизилось. Индексирование кадров может быть индивидуальным .jpg файлами (или что-то еще), и к ним также можно обратиться FileTable и индекс через внешний ключ к основному видеофайлу. Тогда таблица индексов кадров очень проста.

Таким образом, вы устраняете накладные расходы БД для записи файла и ведения журнала, чтобы узнать, произошел ли сбой. Если ОС не может записать файл из-за сбоя питания, тогда у базы данных не будет шанса. Вы можете делать сравнения каталогов и использовать надежную утилиту для перемещения файлов вокруг, а не для удаления исходного файла, если какая-либо часть записи не удалась.

CesarC · Answer 2 · 2012-04-17T18-49-00.000Z

Это не предотвращает повреждение данных, так как повреждение может произойти в любом одном или обоих наборах полей.

Я думаю, что вы лучше, не дублируя "конфиденциальные данные", но записывая эти данные в два этапа на первом шаге. Напишите данные с полем "контрольная сумма" пустым, а на втором этапе обновите контрольную сумму с той, которая соответствует данные. Эта контрольная сумма будет использоваться как флаг с транзакцией и обеспечить целостность данных.

Когда вы читаете данные, вы игнорируете все наборы индексов, которые не были зафиксированы, я имею в виду, где контрольная сумма не соответствует.

Затем выполните много испытаний и тонкой настройки, нанесите повреждение данных на каждом шаге процесса, а также сохраните случайные данные. Я лично считаю, что тестирование требует большой работы, поскольку неудача является случайной, поэтому люди рекомендуют вам использовать базы данных, проверенные в течение многих лет.

Обратите внимание, что, хотя он добавляет некоторую защиту от некоторых видов искажения данных, он не идеален, и вы можете добавить другие уровни безопасности для защиты ваших данных, включая репликацию данных, проверки целостности и внешние конфигурации, в том числе без перерывов, периодические резервные копии.

Слишком много теории вокруг "транзакций".

Найдите "алгоритмы атомных транзакций", чтобы получить более подробную информацию.

Пересмотр с использованием базы данных, пересмотр с использованием журнала и даже пересмотр с использованием файловой системы для хранения вашей информации.

Спасибо за ваши мысли. Я уже рассматривал использование базы данных, но для структуры, которая мне нужна, использование базы данных и ограничения на количество записей, которые она может добавить, и перераспределение системы базы данных в приложении наблюдения затруднительно. Если бы база данных была лучшим решением для хранения такого рода данных, все наши конкуренты использовали бы, и это совершенно противоположно, все конкурирующие программные продукты в этой области реализуют свою собственную структуру записи, потому что именно так мы можем добиться производительности, которую мы нужно
Что касается вашего решения, проблема в том, что новые записи не добавляются в конец диска ... Они хранятся в фиксированной структуре и постоянно изменяются, моя проблема в том, что данные этих индексов изменяются, и у нас есть сбой питания во время записи данных. Итак, если я обновлю поле и сбои питания во время этого обновления, я потеряю данные, если я напишу это дважды, у меня может быть резервная копия старого состояния, что для наших целей это все, что мне нужно
Читая ваш пост еще раз, просто хочу прояснить, что я знаю, что это не предотвратит повреждение, данные все равно будут повреждены, я не могу избежать повреждения, мне просто нужен способ легко восстановить поврежденные данные

perreal · Answer 3 · 2012-04-17T19-10-00.000Z

Вы можете использовать какую-то логику транзакций. Создайте индекс в маленьких кусках и сначала используйте временный файл. Когда вы закончите один фрагмент (файл), проверьте целостность и скопируйте его как фактический индексный файл, если он пройдет тест. На этом этапе вы можете распространять несколько копий проверенного фрагмента.