Librarys verwalten

In diesem Abschnitt wird beschrieben, wie Sie Librarys verwenden und verwalten, die mit Ihren Compute-Clustern verbunden sind.

Themen:

Librarys

Sie können Librarys mit Clustergeltungsbereich hinzufügen, um Drittanbieter- oder benutzerdefinierten Code für Ihre Compute-Cluster verfügbar zu machen, während Notizbücher oder Workflowjobs ausgeführt werden.

Clusterbezogene Librarys können installiert werden, um die Out-of-the-box-Funktionen von Compute-Clustern zu erweitern und gelten für alle Notizbücher und Workflowjobs, die dieses Cluster verwenden. Beispiel: Visualisierungsoptionen, Konnektivitätsoptionen (z.B. JDBC-JARs), Extraktionen (z.B. Extrahieren von Text aus PDF) oder Transformationen.

Die Option zum Installieren von Librarys mit Clustergeltungsbereich ist auf der Registerkarte "Library" des Clusters verfügbar, nachdem der Clusterstatus in "Active" geändert wurde. Ihre Bibliotheksdatei sollte eine .jar-Datei oder eine Wheel (*.whl)-Datei oder eine requirements.txt-Datei sein.

Sie können Initialisierungsskripte auch während der Erstellung eines Clusters oder durch Änderung eines vorhandenen Clusters hinzufügen. Weitere Informationen finden Sie unter Cluster ändern.

Library aus einem Workspace oder Volume installieren

Sie können eine Library installieren, die sich in Ihrem Workspace oder Volume befindet, um Clusteroptionen für angehängte Notizbücher und Jobs zu erweitern.

Librarys können nur aus einem Workspace oder Volume hinzugefügt werden, für das Sie die entsprechenden Berechtigungen haben. Sie können Librarys, die in einem Cluster installiert sind, jederzeit auf der Registerkarte "Library" des Clusters anzeigen.

Wenn die zu installierende Library-Datei noch nicht in Ihrem Workspace oder Volume verfügbar ist, können Sie die Library zuerst von Ihrem lokalen Rechner in Ihren Workspace hochladen und dann im Cluster installieren.

  1. Navigieren Sie zu Ihrem Workspace, und klicken Sie auf Compute.
  2. Click your cluster, then click the Library tab.
  3. Klicken Sie auf Symbol "Install Library" Bibliothek installieren.
  4. Wählen Sie aus, ob die Bibliothek Teil eines Workspace oder Volume ist.

    Seite "Bibliothek installieren" geöffnet, Option "Workspace" ausgewählt

  5. Navigieren Sie zur Bibliothek in Ihrem Arbeitsbereich, und wählen Sie sie aus.
  6. Klicken Sie auf Installieren. Der Installationsstatus für Ihre Bibliothek wird auf der Registerkarte Library angezeigt.
  7. Starten Sie das Cluster nach der Installation neu, indem Sie auf Aktionen, Neu starten klicken.
    Wenn der Clusterstatus wieder "Aktiv" lautet, können Sie die Bibliothek in Ihrem Code in einem Notizbuch oder Workflowjob verwenden.

Bibliothek aus einer hochgeladenen Datei installieren

Sie können eine Library aus einer hochgeladenen Datei in Ihrem Workspace installieren, um Clusteroptionen für angehängte Notizbücher und Jobs zu erweitern.

  1. Navigieren Sie zu Ihrem Workspace, und klicken Sie auf Compute.
  2. Click your cluster, then click the Library tab.
  3. Klicken Sie auf Symbol "Install Library" Bibliothek installieren.
  4. Wählen Sie Datei in Workspace hochladen aus.

    Seite "Library installieren" mit aktivierter Option "Datei in Workspace hochladen"

  5. Navigieren Sie zu der Datei, die Ihre Bibliothek enthält, oder ziehen Sie sie per Drag-and-Drop in das Fenster.
    Ihre Bibliotheksdatei muss das Format .whl oder .jar oder eine Textdatei mit dem Namen requirements.txt aufweisen. Weitere Informationen zur Datei requirements.txt finden Sie unter Requirements File Format.

    Im Folgenden finden Sie ein Beispiel für eine Datei requirements.txt:

    plotly==6.0.1
pandas==2.2.3
matplotlib==3.10.1
  6. Klicken Sie auf Installieren. Der Installationsstatus für Ihre Bibliothek wird auf der Registerkarte Library angezeigt.
  7. Starten Sie das Cluster nach der Installation neu, indem Sie auf Aktionen, Neu starten klicken.
    Wenn der Clusterstatus wieder "Aktiv" lautet, können Sie die Bibliothek in Ihrem Code in einem Notizbuch oder Workflowjob verwenden.

Installieren einer Bibliothek unter PyPI

Sie können eine Bibliothek über einen Python-Packageindex (PyPI) installieren, um Clusteroptionen für angehängte Notizbücher und Jobs zu erweitern.

  1. Navigieren Sie zu Ihrem Workspace, und klicken Sie auf Compute.
  2. Click your cluster, then click the Library tab.
  3. Klicken Sie auf Symbol "Install Library" Bibliothek installieren.
  4. Wählen Sie PyPI aus.

    Seite "Bibliothek installieren", wobei die Option PyPI ausgewählt ist

  5. Geben Sie die Package- und Index-URL PyPI an. Es wird empfohlen, die genaue Packageversion mit == anzugeben, um Regressionen zu verhindern. Beispiel: simplejson==3.8.0.
  6. Klicken Sie auf Package hinzufügen, um zusätzliche PyPI-Packages hinzuzufügen.
  7. Klicken Sie auf Installieren. Der Installationsstatus für Ihre Bibliothek wird auf der Registerkarte Library angezeigt.
  8. Starten Sie das Cluster nach der Installation neu, indem Sie auf Aktionen, Neu starten klicken.
    Wenn der Clusterstatus wieder "Aktiv" lautet, können Sie die Bibliothek in Ihrem Code in einem Notizbuch oder Workflowjob verwenden.

Installieren einer Bibliothek von Maven

Sie können eine Maven-Library installieren, um Clusteroptionen für angehängte Notizbücher und Jobs zu erweitern.

  1. Navigieren Sie zu Ihrem Workspace, und klicken Sie auf Compute.
  2. Click your cluster, then click the Library tab.
  3. Klicken Sie auf Symbol "Install Library" Bibliothek installieren.
  4. Wählen Sie Maven aus.

    Seite "Bibliothek installieren" mit ausgewählter Maven-Option

  5. Geben Sie die Maven-Koordinaten im Format groupId:artifactId:version an. Beispiel: com.google.zxing:javase:3.5.3. Sie können optional auf Packages suchen klicken, um das Maven Central Repository nach einem bestimmten Package zu durchsuchen, und auf Auswählen klicken.
  6. Geben Sie das Repository an, aus dem die Maven-Library installiert werden soll. Wenn dieses Feld leer ist, werden Maven Central Repository- und Spark-Packages verwendet.
  7. Geben Sie alle Abhängigkeiten an, die in Ausschlüsse ausgeschlossen werden sollen. Ausschlüsse verhindern, dass bestimmte Abhängigkeiten installiert werden. Trennen Sie mehrere Ausschlüsse durch ein Komma. Beispiel: log4j:log4j,junit:junit.
  8. Klicken Sie auf Package hinzufügen, um zusätzliche Maven-Librarys hinzuzufügen.
  9. Klicken Sie auf Installieren. Der Installationsstatus für Ihre Bibliothek wird auf der Registerkarte Library angezeigt.
  10. Starten Sie das Cluster nach der Installation neu, indem Sie auf Aktionen, Neu starten klicken.
    Wenn der Clusterstatus wieder "Aktiv" lautet, können Sie die Bibliothek in Ihrem Code in einem Notizbuch oder Workflowjob verwenden.

Deinstallieren einer Bibliothek

Sie können eine unerwünschte oder nicht mehr benötigte Bibliothek aus Clustern, die Sie besitzen, deinstallieren.

  1. Navigieren Sie zu Ihrem Workspace, und klicken Sie auf Compute.
  2. Click your cluster, then click the Library tab.
  3. Klicken Sie neben der Library auf Aktionssymbol mit drei Punkten Aktionen und dann auf Deinstallieren.
  4. Klicken Sie auf Deinstallieren.