Criando um Projeto Java Baseado em Maven

Crie um projeto Java baseado em Maven para criar um aplicativo MapReduce.

  1. Crie um projeto Maven. Por exemplo, crie um wordcountjava projetado:
    mvn archetype:generate -DgroupId=org.apache.hadoop.examples -DartifactId=wordcountjava -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false
    

    Esse comando cria um diretório com o nome especificado pelo parâmetro artifactID (wordcountjava neste exemplo). Este diretório contém os seguintes itens:

    • pom.xml: O POM (Project Object Model, Modelo de Objeto de Projeto) que contém informações e detalhes de configuração usados para criar o projeto.
    • src\main\java\org\apache\hadoop\examples: Contém o código do aplicativo.
    • src\test\java\org\apache\hadoop\examples: Contém o código de teste.
  2. Atualize pom.xml com as dependências necessárias:
    1. Para adicionar dependências, adicione o seguinte texto na seção <dependencies> de pom.xml:
      <dependency>
      
      
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-mapreduce-client-common</artifactId>
          <version>3.3.3</version>
          <scope>provided</scope>
      </dependency>
      <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-common</artifactId>
          <version>3.3.3</version>
          <scope>provided</scope>
      
      
      </dependency>
      Observação

      O <version> usado deve corresponder à versão do Hadoop no cluster do Big Data Service.
  3. Adicione outras configurações e plug-ins necessários a pom.xml.

    No exemplo a seguir, o plug-in sombreado é adicionado para agrupar todos os jars mencionados em dependências (além do escopo fornecido) juntamente com o plug-in de build do maven.

    <build>
    
        <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>2.3</version>
            <configuration>
            <transformers>
                <transformer implementation="org.apache.maven.plugins.shade.resource.ApacheLicenseResourceTransformer">
                </transformer>
            </transformers>
            </configuration>
            <executions>
            <execution>
                <phase>package</phase>
                    <goals>
                    <goal>shade</goal>
                    </goals>
            </execution>
            </executions>
            </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.6.1</version>
            <configuration>
            <source>1.8</source>
            <target>1.8</target>
            </configuration>
        </plugin>
        </plugins>
    </build>
  4. Salve o arquivo pom.xml.