Выполнение задания Disco Map-Reduction для данных, хранящихся в Discodex

Question

Выполнение задания Disco Map-Reduction для данных, хранящихся в Discodex

1

У меня есть большое количество статических данных, которые должны предлагать произвольный доступ. Так как я использую Disco для его переваривания, я использую очень впечатляющий магазин Discodex (key, value) поверх Диско-распределенной файловой системы. Однако документация Disco довольно скудная, поэтому я не могу понять, как использовать индексы Discodex в качестве вклада в работу Disco.

Возможно ли это? Если да, то как мне это сделать?

В качестве альтернативы, я думаю об этом неправильно? Было бы лучше просто сохранить эти данные в виде текстового файла в DDFS?

nickname 08 июль 2011, в 20:39

Источник

Теги:

python

mapreduce

disco

2 ответа

0

Вы также можете использовать DiscoDB для хранения результатов одного задания, а затем использовать его как вход для другого задания. Хороший пример имеет учебник DiscoDB.

http://discoproject.org/doc/howto/discodb.html

Ryan Nowakowski 21 март 2012, в 22:11

Ещё вопросы

nickname · Accepted Answer · 2011-07-08T16-28-00.000Z

Ничего, кажется, что то, что я делаю, на самом деле не должно быть сделано. Возможно, это будет возможно, но было бы гораздо лучше использовать семантические теги DDFS для ссылки на капли данных.

Правильный вариант использования Discodex - хранить индексы, созданные программой Disco map-reduce, которая не требует ввода другой программы уменьшения карты.