Я последовал за статьей и сумел запустить программу mapreduce в eclipse.
Ниже приведен файл pom.xml
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>virtusa</groupId>
<artifactId>fazlan</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>
<name>fazlan</name>
<url>http://maven.apache.org</url>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>3.8.1</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.2.0</version>
</dependency>
</dependencies>
</project>
Maven устанавливает необходимые банки, и когда я запускаю программу как приложение Java, вывод сохраняется как ожидалось.
Как я уже говорил, Hadoop можно запускать в трех режимах.
1)Single node
2)psuedo-distributed mode
3)distributed mode
Я предполагаю, что eclipse запускал программу в конфигурации с одним узлом.
Если мы хотим отдельно установить hadoop, нам нужно будет отредактировать некоторые файлы xml, чтобы сказать, что нам нужна конкретная конфигурация (я использую Hadoop 2.2 и даже для конфигурации с одним узлом, я предполагаю, что ему нужно внести некоторые изменения в xome файлов xml).
В приведенном выше экземпляре я не изменял файлы xml, чтобы сказать это. Как затмение показало это только с помощью банок.
А также этот метод зависит от любой переменной среды, отличной от JAVA_HOME или PATH? (Идет ли поиск Eclipse для любой установки hadoop на моей машине)
Как вы сказали, hadoop можно запустить тремя способами
Local mode (Only for test purpose no mapreduce daemons needed)
Pseudo distributed mode(1 node cluster)
Distributed mode(Multinode cluster)
В локальном режиме нет необходимости запускать каких-либо демонов хаопа (jobtracker, taskters in mr1). Обычно это используется для целей тестирования из eclipse. Но в случае псевдораспределенных и распределенных режимов демоны Mapreduce должны запускаться. Когда вы запускаете задание mapreduce в псевдо/распределенном режиме с любых клиентских узлов, необходимо указать узел jobtracker и номер порта (mapred.job.tracker) в mapred-site.xml, HDFS namenode Host: порт на основном сайте. XML
Из затмения исполнение будет в локальном режиме, демоны не будут выполняться (не будут подключаться к каким-либо демонам), поэтому нет необходимости настраивать любые XML файлы при отправке заданий