Création d'un projet Java basé sur Maven
Créez un projet Java basé sur Maven pour écrire une application MapReduce.
-
Créez un projet Maven. Par exemple, créez une projection nommée
wordcountjava:mvn archetype:generate -DgroupId=org.apache.hadoop.examples -DartifactId=wordcountjava -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=falseCette commande crée un répertoire avec le nom spécifié par le paramètre
artifactID(wordcountjavadans cet exemple). Ce répertoire contient les éléments suivants :pom.xml: Modèle d'objet de projet contenant les informations et les détails de configuration utilisés pour créer le projet.src\main\java\org\apache\hadoop\examples: Contient le code de l'application.src\test\java\org\apache\hadoop\examples: Contient le code de test.
-
Mettez à jour
pom.xmlavec les dépendances requises :- Pour ajouter des dépendances, ajoutez le texte suivant dans la section
<dependencies>depom.xml:<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-common</artifactId> <version>3.3.3</version> <scope>provided</scope> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.3.3</version> <scope>provided</scope> </dependency>Note
La valeur<version>utilisée doit correspondre à la version de Hadoop dans la grappe du service de mégadonnées.
- Pour ajouter des dépendances, ajoutez le texte suivant dans la section
-
Ajoutez d'autres configurations et plugiciels requis à
pom.xml.Dans l'exemple suivant, le plugiciel ombré est ajouté pour regrouper tous les fichiers JAR référencés dans les dépendances (à l'exception de la portée fournie) avec le plugiciel de construction maven.
<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>2.3</version> <configuration> <transformers> <transformer implementation="org.apache.maven.plugins.shade.resource.ApacheLicenseResourceTransformer"> </transformer> </transformers> </configuration> <executions> <execution> <phase>package</phase> <goals> <goal>shade</goal> </goals> </execution> </executions> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.6.1</version> <configuration> <source>1.8</source> <target>1.8</target> </configuration> </plugin> </plugins> </build> -
Enregistrez le fichier
pom.xml.