Maven-basiertes Java-Projekt erstellen
Erstellen Sie ein Maven-basiertes Java-Projekt, um eine MapReduce-Anwendung zu schreiben.
-
Erstellen Sie ein Maven-Projekt. Beispiel: Erstellen Sie ein projiziertes
wordcountjava
:mvn archetype:generate -DgroupId=org.apache.hadoop.examples -DartifactId=wordcountjava -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false
Mit diesem Befehl wird ein Verzeichnis mit dem Namen erstellt, der mit dem Parameter
artifactID
angegeben wird (in diesem Beispielwordcountjava
). Dieses Verzeichnis enthält folgende Elemente:pom.xml
: Das Project Object Model (POM) mit Informationen und Konfigurationsdetails zum Erstellen des Projekts.src\main\java\org\apache\hadoop\examples
: Enthält den Anwendungscode.src\test\java\org\apache\hadoop\examples
: Enthält Testcode.
-
Aktualisieren Sie
pom.xml
mit den erforderlichen Abhängigkeiten:- Um Abhängigkeiten hinzuzufügen, fügen Sie den folgenden Text im Abschnitt
<dependencies>
vonpom.xml
hinzu:<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-common</artifactId> <version>3.3.3</version> <scope>provided</scope> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.3.3</version> <scope>provided</scope> </dependency>
Hinweis
Die verwendete<version>
muss mit der Version von Hadoop im Big Data-Servicecluster übereinstimmen.
- Um Abhängigkeiten hinzuzufügen, fügen Sie den folgenden Text im Abschnitt
-
Fügen Sie weitere erforderliche Konfigurationen und Plug-ins zu
pom.xml
hinzu.Im folgenden Beispiel wird das schattierte Plug-in hinzugefügt, um alle in Abhängigkeiten referenzierten JARs (außer dem angegebenen Geltungsbereich) zusammen mit dem maven-Build-Plug-in zu bündeln.
<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>2.3</version> <configuration> <transformers> <transformer implementation="org.apache.maven.plugins.shade.resource.ApacheLicenseResourceTransformer"> </transformer> </transformers> </configuration> <executions> <execution> <phase>package</phase> <goals> <goal>shade</goal> </goals> </execution> </executions> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.6.1</version> <configuration> <source>1.8</source> <target>1.8</target> </configuration> </plugin> </plugins> </build>
-
Speichern Sie die Datei
pom.xml
.