Criando um Projeto Java Baseado em Maven
Crie um projeto Java baseado em Maven para criar um aplicativo MapReduce.
-
Crie um projeto Maven. Por exemplo, crie um
wordcountjava
projetado:mvn archetype:generate -DgroupId=org.apache.hadoop.examples -DartifactId=wordcountjava -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false
Esse comando cria um diretório com o nome especificado pelo parâmetro
artifactID
(wordcountjava
neste exemplo). Este diretório contém os seguintes itens:pom.xml
: O POM (Project Object Model, Modelo de Objeto de Projeto) que contém informações e detalhes de configuração usados para criar o projeto.src\main\java\org\apache\hadoop\examples
: Contém o código do aplicativo.src\test\java\org\apache\hadoop\examples
: Contém o código de teste.
-
Atualize
pom.xml
com as dependências necessárias:- Para adicionar dependências, adicione o seguinte texto na seção
<dependencies>
depom.xml
:<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-common</artifactId> <version>3.3.3</version> <scope>provided</scope> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.3.3</version> <scope>provided</scope> </dependency>
Observação
O<version>
usado deve corresponder à versão do Hadoop no cluster do Big Data Service.
- Para adicionar dependências, adicione o seguinte texto na seção
-
Adicione outras configurações e plug-ins necessários a
pom.xml
.No exemplo a seguir, o plug-in sombreado é adicionado para agrupar todos os jars mencionados em dependências (além do escopo fornecido) juntamente com o plug-in de build do maven.
<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>2.3</version> <configuration> <transformers> <transformer implementation="org.apache.maven.plugins.shade.resource.ApacheLicenseResourceTransformer"> </transformer> </transformers> </configuration> <executions> <execution> <phase>package</phase> <goals> <goal>shade</goal> </goals> </execution> </executions> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.6.1</version> <configuration> <source>1.8</source> <target>1.8</target> </configuration> </plugin> </plugins> </build>
-
Salve o arquivo
pom.xml
.