Вот пример конца, который адаптирует методы, упомянутые в этом предыдущем вопросе, ближе к вашему вопросу.

Python читает файл как поток из HDFS

Это небольшое приложение Python Hadoop Streaming, которое считывает пары ключ-значение, проверяет ключ на файле конфигурации XML, хранящемся в HDFS, и затем испускает значение только в том случае, если ключ соответствует конфигурации. Логика соответствия отключена в отдельный модуль Process.py, который считывает файл конфигурации XML из HDFS, используя внешний вызов hdfs dfs -cat.

Сначала мы создаем каталог с именем pythonapp, содержащий исходные файлы Python для нашей реализации. Мы увидим позже, когда мы представим потоковое задание, которое мы передадим этому каталогу в аргументе -files.

Почему мы помещаем файлы в промежуточный каталог вместо простого перечисления каждого файла отдельно в аргументе -files? Это потому, что, когда YARN локализует файлы для выполнения в контейнерах, он вводит слой символической ссылки. Python не может правильно загрузить модуль через символическую ссылку. Решение состоит в том, чтобы упаковать оба файла в один и тот же каталог. Затем, когда YARN локализует файлы, символическая ссылка выполняется на уровне каталога вместо отдельных файлов. Поскольку основной script и модуль физически находятся в одном каталоге, Python сможет правильно загрузить модуль. Этот вопрос более подробно объясняет проблему:

Как импортировать настраиваемый модуль в задание MapReduce?

Mapper.py

import subprocess
import sys
from Process import match

for line in sys.stdin:
    key, value = line.split()
    if match(key):
        print value

Process.py

import subprocess
import xml.etree.ElementTree as ElementTree

hdfsCatProcess = subprocess.Popen(
        ['hdfs', 'dfs', '-cat', '/pythonAppConf.xml'],
        stdout=subprocess.PIPE)
pythonAppConfXmlTree = ElementTree.parse(hdfsCatProcess.stdout)
matchString = pythonAppConfXmlTree.find('./matchString').text.strip()

def match(key):
    return key == matchString

Затем мы помещаем 2 файла в HDFS./testData - это входной файл, содержащий пары ключ-значение с разделителями табуляции. /pythonAppConf.xml - это XML файл, в котором мы можем настроить конкретный ключ для соответствия.

/Testdata​​h1 >

foo 1
bar 2
baz 3

/pythonAppConf.xml

<pythonAppConf>
    <matchString>foo</matchString>
</pythonAppConf>

Так как мы установили matchString в foo, и поскольку наш входной файл содержит только одну запись с ключом, установленным в foo, мы ожидаем, что вывод выполнения задания будет одной строкой, содержащей значение, соответствующее на клавишу foo, которая равна 1. Принимая это для пробного прогона, мы получаем ожидаемые результаты.

> hadoop jar share/hadoop/tools/lib/hadoop-streaming-*.jar \
      -D mapreduce.job.reduces=0 \
      -files pythonapp \
      -input /testData \
      -output /streamingOut \
      -mapper 'python pythonapp/Mapper.py'

> hdfs dfs -cat /streamingOut/part*
1   

Альтернативный способ сделать это - указать файл HDFS в аргументе -files. Таким образом, YARN вытащит XML файл в качестве локализованного ресурса для отдельных узлов, запускающих контейнеры перед запуском Python script. Затем код Python может открыть XML файл, как если бы он был локальным файлом в рабочем каталоге. Для очень больших заданий, выполняющих несколько задач/контейнеров, этот метод, скорее всего, превзойдет вызов hdfs dfs -cat из каждой задачи.

Чтобы протестировать эту технику, мы можем попробовать другую версию модуля Process.py.

Process.py

import xml.etree.ElementTree as ElementTree

pythonAppConfXmlTree = ElementTree.parse('pythonAppConf.xml')
matchString = pythonAppConfXmlTree.find('./matchString').text.strip()

def match(key):
    return key == matchString

Вызов командной строки изменяется для указания пути HDFS в -files, и еще раз мы видим ожидаемые результаты.

> hadoop jar share/hadoop/tools/lib/hadoop-streaming-*.jar \
      -D mapreduce.job.reduces=0 \
      -files pythonapp,hdfs:///pythonAppConf.xml \
      -input /testData \
      -output /streamingOut \
      -mapper 'python pythonapp/Mapper.py'

> hdfs dfs -cat /streamingOut/part*
1   

В документации Apache Hadoop обсуждается использование опции -files для локального размещения файлов HDFS.

http://hadoop.apache.org/docs/r2.7.1/hadoop-streaming/HadoopStreaming.html#Working_with_Large_Files_and_Archives