Création d'un projet Java basé sur Maven
Créez un projet Java basé sur Maven pour écrire une application MapReduce.
-
Créez un projet Maven. Par exemple, créez une projection nommée
wordcountjava
:mvn archetype:generate -DgroupId=org.apache.hadoop.examples -DartifactId=wordcountjava -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false
Cette commande crée un répertoire avec le nom spécifié par le paramètre
artifactID
(wordcountjava
dans cet exemple). Ce répertoire contient les éléments suivants :pom.xml
: Modèle d'objet de projet contenant les informations et les détails de configuration utilisés pour créer le projet.src\main\java\org\apache\hadoop\examples
: Contient le code de l'application.src\test\java\org\apache\hadoop\examples
: Contient le code de test.
-
Mettez à jour
pom.xml
avec les dépendances requises :- Pour ajouter des dépendances, ajoutez le texte suivant dans la section
<dependencies>
depom.xml
:<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-common</artifactId> <version>3.3.3</version> <scope>provided</scope> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.3.3</version> <scope>provided</scope> </dependency>
Note
La valeur<version>
utilisée doit correspondre à la version de Hadoop dans la grappe du service de mégadonnées.
- Pour ajouter des dépendances, ajoutez le texte suivant dans la section
-
Ajoutez d'autres configurations et plugiciels requis à
pom.xml
.Dans l'exemple suivant, le plugiciel ombré est ajouté pour regrouper tous les fichiers JAR référencés dans les dépendances (à l'exception de la portée fournie) avec le plugiciel de construction maven.
<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>2.3</version> <configuration> <transformers> <transformer implementation="org.apache.maven.plugins.shade.resource.ApacheLicenseResourceTransformer"> </transformer> </transformers> </configuration> <executions> <execution> <phase>package</phase> <goals> <goal>shade</goal> </goals> </execution> </executions> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.6.1</version> <configuration> <source>1.8</source> <target>1.8</target> </configuration> </plugin> </plugins> </build>
-
Enregistrez le fichier
pom.xml
.