Création d'un projet Java basé sur Maven

Créez un projet Java basé sur Maven pour écrire une application MapReduce.

  1. Créez un projet Maven. Par exemple, créez une projection nommée wordcountjava :
    mvn archetype:generate -DgroupId=org.apache.hadoop.examples -DartifactId=wordcountjava -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false
    

    Cette commande crée un répertoire avec le nom spécifié par le paramètre artifactID (wordcountjava dans cet exemple). Ce répertoire contient les éléments suivants :

    • pom.xml : Modèle d'objet de projet contenant les informations et les détails de configuration utilisés pour créer le projet.
    • src\main\java\org\apache\hadoop\examples : Contient le code de l'application.
    • src\test\java\org\apache\hadoop\examples : Contient le code de test.
  2. Mettez à jour pom.xml avec les dépendances requises :
    1. Pour ajouter des dépendances, ajoutez le texte suivant dans la section <dependencies> de pom.xml :
      <dependency>
      
      
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-mapreduce-client-common</artifactId>
          <version>3.3.3</version>
          <scope>provided</scope>
      </dependency>
      <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-common</artifactId>
          <version>3.3.3</version>
          <scope>provided</scope>
      
      
      </dependency>
      Note

      La valeur <version> utilisée doit correspondre à la version de Hadoop dans la grappe du service de mégadonnées.
  3. Ajoutez d'autres configurations et plugiciels requis à pom.xml.

    Dans l'exemple suivant, le plugiciel ombré est ajouté pour regrouper tous les fichiers JAR référencés dans les dépendances (à l'exception de la portée fournie) avec le plugiciel de construction maven.

    <build>
    
        <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>2.3</version>
            <configuration>
            <transformers>
                <transformer implementation="org.apache.maven.plugins.shade.resource.ApacheLicenseResourceTransformer">
                </transformer>
            </transformers>
            </configuration>
            <executions>
            <execution>
                <phase>package</phase>
                    <goals>
                    <goal>shade</goal>
                    </goals>
            </execution>
            </executions>
            </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.6.1</version>
            <configuration>
            <source>1.8</source>
            <target>1.8</target>
            </configuration>
        </plugin>
        </plugins>
    </build>
  4. Enregistrez le fichier pom.xml.