Maven-basiertes Java-Projekt erstellen

Erstellen Sie ein Maven-basiertes Java-Projekt, um eine MapReduce-Anwendung zu schreiben.

  1. Erstellen Sie ein Maven-Projekt. Beispiel: Erstellen Sie ein projiziertes wordcountjava:
    mvn archetype:generate -DgroupId=org.apache.hadoop.examples -DartifactId=wordcountjava -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false
    

    Mit diesem Befehl wird ein Verzeichnis mit dem Namen erstellt, der mit dem Parameter artifactID angegeben wird (in diesem Beispiel wordcountjava). Dieses Verzeichnis enthält folgende Elemente:

    • pom.xml: Das Project Object Model (POM) mit Informationen und Konfigurationsdetails zum Erstellen des Projekts.
    • src\main\java\org\apache\hadoop\examples: Enthält den Anwendungscode.
    • src\test\java\org\apache\hadoop\examples: Enthält Testcode.
  2. Aktualisieren Sie pom.xml mit den erforderlichen Abhängigkeiten:
    1. Um Abhängigkeiten hinzuzufügen, fügen Sie den folgenden Text im Abschnitt <dependencies> von pom.xml hinzu:
      <dependency>
      
      
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-mapreduce-client-common</artifactId>
          <version>3.3.3</version>
          <scope>provided</scope>
      </dependency>
      <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-common</artifactId>
          <version>3.3.3</version>
          <scope>provided</scope>
      
      
      </dependency>
      Hinweis

      Die verwendete <version> muss mit der Version von Hadoop im Big Data-Servicecluster übereinstimmen.
  3. Fügen Sie weitere erforderliche Konfigurationen und Plug-ins zu pom.xml hinzu.

    Im folgenden Beispiel wird das schattierte Plug-in hinzugefügt, um alle in Abhängigkeiten referenzierten JARs (außer dem angegebenen Geltungsbereich) zusammen mit dem maven-Build-Plug-in zu bündeln.

    <build>
    
        <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>2.3</version>
            <configuration>
            <transformers>
                <transformer implementation="org.apache.maven.plugins.shade.resource.ApacheLicenseResourceTransformer">
                </transformer>
            </transformers>
            </configuration>
            <executions>
            <execution>
                <phase>package</phase>
                    <goals>
                    <goal>shade</goal>
                    </goals>
            </execution>
            </executions>
            </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.6.1</version>
            <configuration>
            <source>1.8</source>
            <target>1.8</target>
            </configuration>
        </plugin>
        </plugins>
    </build>
  4. Speichern Sie die Datei pom.xml.