Пользовательский формат-уменьшитель входного формата для Cassandra с использованием собственного протокола
Я использую Apache Cassandra (1.2) и Apache Map-Reduce для сжатия некоторых данных. На данный момент я использую CqlPagingInputFormat из org.apache.cassandra.hadoop.cql3. Этот провайдер использует Thrift для извлечения данных. Похоже, что Thrift довольно медленный (записи 300M, в кластере из 3 узлов забирают 8+ часов для чтения), и поскольку существует собственный бинарный протокол, мне интересно, использовал ли он его.
Меня не интересуют какие-либо другие настройки оптимизации и настройки - это отдельная проблема.
Мои вопросы:
-
Есть ли реализация входного форматера, уменьшающего карту, который напрямую использует собственный протокол Cassandra?
-
Если нет, то каковы были бы первые шаги для написания моего собственного, например, с помощью драйвера DataStax?
1 ответ
Cassandra 2.0.7 включает собственные протоколы протокола для классов CQL Hadoop:
org.apache.cassandra.hadoop.cql3.CqlInputFormat org.apache.cassandra.hadoop.cql3.CqlRecordReader org.apache.cassandra.hadoop.cql3.CqlConfigHelper
Код WordCount в примерах /hasoop_cql3_word_count обновлен для использования этих классов.
JIRA, которая представила это, - https://issues.apache.org/jira/browse/CASSANDRA-6311
Ещё вопросы
- 1C # - XML дочерние узлы в текстовое поле
- 0MVC: результат из JSON Автоматически заполнить представление
- 1Как я могу удалить список языковых настроек в исходном уровне Android?
- 0Редактирование существующего ввода .val () без влияния на другие входные значения val ()
- 1Проблема прикрепления zip-файла в javamail
- 1Невозможно переопределить существующие значения dataframe при замене значений в столбцах (строках)
- 0Angular Grid (ag-grid) показать / скрыть не работает
- 1PDF Миниатюры на Windows Server 2008 R2 в asp.net
- 0выпадающая навигация в блокноте и перенос в dw cs6, она работает в режиме реального времени, а не в любом тестовом браузере, и мои страницы не связаны
- 1Приложение для Android: передача Javascript Var в переменную Native Java
- 1Запрет NServiceBus регистрировать мою строку подключения хранилища Azure
- 0Из одномерного массива необходимо получить многомерный массив на основе ключей
- 0Как объединить несколько селекторов класса CSS для JQuery Buttonset?
- 1Есть ли ярлык, чтобы повторить последнее сканирование StyleCop
- 0Несколько экземпляров свойства перехода среди классов, используемых в одном элементе
- 1получить уникальный идентификатор диска в java
- 0Как получить текст из диалогового окна textarea jquery UI
- 0объединить 2 sql запрос местоположения и средний рейтинг
- 0Приложение Phonegap для Android - загрузка неверного значка данных в динамически генерируемый <li>
- 1Обещай тогда и лови в nodeJS
- 1Как сбросить статическое свойство только для чтения?
- 1Как решить «ошибка: не удается найти символьную переменную new_location» в Android Studio?
- 1Этот код дает мне ошибку несовместимых типов. Он говорит, что требуется сканер, но обнаружил строку. Я не понимаю, как я могу это исправить
- 0Как: веб-страница, эквивалентная сводной таблице Excel
- 1C # добавление в список кортежей с функцией
- 0Как добавить модуль в AngularJS ngBoilerplate?
- 0Плагин проверки jQuery - флажки
- 0Отправлять запросы в несколько форм на разных сайтах, которые имеют Captcha
- 1как получить куки-файлы двух серверов 1. запускает приложение (HTTP), 2. запускает сервер websocket (WS)?
- 1Как создать частичные классы из CodeFirst
- 1Отбор проб в тензорном потоке
- 0Гиперссылки в сообщении Gmail
- 0Нумерация страниц в PHP
- 0Получить имя родителя в дочерней записи в IN () из той же таблицы в Mysql
- 0ngResource save () странное поведение
- 1Обобщения Java с любым типом <?>
- 0Как я могу использовать jQuery для обновления поля в моей модели рельсов?
- 0Перенос слов в JasperReport с тегом html
- 1Как обрабатывать большой размер ввода в Java?
- 1Как изменить цвет фона для определенных элементов виджета в RecycleView?
- 1Pythonic способ перебирать списки внутри dict параллельно как dict
- 0Symfony 2 PHP Template Engine рендеринг объектов
- 0При создании новой комнаты сделайте $ location.path ('/' + roomNumber); Как я могу создать новый маршрут, когда пользователь создает новую комнату?
- 0Как передать событие, вызванное jQuery, в функцию
- 0Сообщение о перемещении объекта круга в Картах Google перед тем, как сделать его видимым
- 0Снимите флажок HTML с меткой
- 0Плагин jQuery Validation - добавление класса ошибок к дополнительным элементам
- 1Перед загрузкой в WebView в Android Kotlin проверьте связь с URL-адресом веб-сайта
- 1Параметры для входа в систему без публикации через REST с использованием Volley
- 0Ошибка при загрузке изображений
CqlPagingInputFormatиCqlPagingRecordReaderвсе еще используют Thrift, поэтому пишу свою собственную реализацию atm. Не уверен, почему эта проблема помечена как решенная, это не так. Спасибо за ответ, хотя. Я удивлен, что это не было сделано несколько лет назад.