管理库

本节介绍如何使用和管理连接到计算集群的库。

库

您可以添加集群范围库,使第三方或定制代码在运行记事本或工作流作业时可供计算集群使用。

可以安装集群范围库来扩展计算集群的现成功能,并应用于使用该集群的所有记事本和工作流作业。例如,可视化选项、连接选项(例如 JDBC JAR)、提取(例如从 PDF 提取文本)或转换。

在群集状态更改为 "Active"(活动)后,群集的 "Library"(库)选项卡中提供了用于安装群集范围磁带库的选项。库文件应为 .jar 文件、轮 (*.whl) 文件或 requirements.txt 文件。

您还可以在创建集群期间或通过修改现有集群来添加初始化脚本。有关详细信息,请参阅修改集群。

从工作区或卷安装库

您可以安装位于工作区或卷中的库,以展开附加记事本和作业的群集选项。

只能从具有相应权限的工作区或卷添加库。您可以随时从群集的 "Library" 选项卡查看群集上安装的磁带库。

如果要安装的库文件在工作区或卷中尚不可用,您可以先将库从本地计算机上载到工作区,然后在集群中安装。

  1. 导航到工作区,然后单击计算。
  2. 单击群集,然后单击 Library(库)选项卡。
  3. 单击 "Install library" 图标 安装库。
  4. 选择磁带库是工作区还是卷的一部分。

    "Install Library" 页面打开时选择了 "Workspace" 选项

  5. 导航到工作区中的库并选择它。
  6. 单击 Install 。您可以在 Library 选项卡上查看磁带库的安装状态。
  7. 安装磁带库后,通过依次单击操作和重新启动来重新启动群集。
    当群集状态再次为“活动”时,您可以在记事本或工作流作业中使用代码中的库。

从上载的文件安装库

您可以从上载的文件将库安装到工作区,以展开附加记事本和作业的群集选项。

  1. 导航到工作区,然后单击计算。
  2. 单击群集,然后单击 Library(库)选项卡。
  3. 单击 "Install library" 图标 安装库。
  4. 选择将文件上载到工作区。

    选择了“将文件上载到工作区”选项的“安装库”页

  5. 浏览到包含库的文件,或将其拖放到窗口中。
    库文件必须是 .whl 或 .jar 格式,或者是名称为 requirements.txt 的文本文件。有关 requirements.txt 文件的更多信息,请参见 Requirements File Format 。

    下面是 requirements.txt 文件的示例:

    plotly==6.0.1
    pandas==2.2.3
    matplotlib==3.10.1
  6. 单击 Install 。您可以在 Library 选项卡上查看磁带库的安装状态。
  7. 安装磁带库后,通过依次单击操作和重新启动来重新启动群集。
    当群集状态再次为“活动”时,您可以在记事本或工作流作业中使用代码中的库。

从 PyPI 安装磁带库

您可以从 Python 软件包索引 (PyPI) 安装库,以扩展附加记事本和作业的群集选项。

  1. 导航到工作区,然后单击计算。
  2. 单击群集,然后单击 Library(库)选项卡。
  3. 单击 "Install library" 图标 安装库。
  4. 选择 PyPI 。

    选择了 PyPI 选项的 "Install Library" 页面

  5. 提供 PyPI 程序包和索引 URL。我们建议使用 == 指定确切的软件包版本以防止回归。例如,simplejson==3.8.0。
  6. 单击添加软件包以包括其他 PyPI 软件包。
  7. 单击 Install 。您可以在 Library 选项卡上查看磁带库的安装状态。
  8. 安装磁带库后,通过依次单击操作和重新启动来重新启动群集。
    当群集状态再次为“活动”时,您可以在记事本或工作流作业中使用代码中的库。

从 Maven 安装库

您可以安装 Maven 库以展开附加记事本和作业的群集选项。

  1. 导航到工作区,然后单击计算。
  2. 单击群集,然后单击 Library(库)选项卡。
  3. 单击 "Install library" 图标 安装库。
  4. 选择 Maven 。

    选择了 Maven 选项的 "Install Library" 页面

  5. 使用 groupId:artifactId:version 格式提供 Maven 坐标。例如,com.google.zxing:javase:3.5.3。您可以根据需要单击搜索程序包以搜索特定程序包的 Maven Central Repository,然后单击选择。
  6. 提供用于安装 Maven 库的 Repository 。如果留空,则使用 Maven Central Repository 和 Spark Packages。
  7. 指定要排除在排除项中的任何相关性。排除会阻止安装指定的依赖项。使用逗号分隔多个排除项。例如 log4j:log4j,junit:junit。
  8. 单击添加程序包以添加其他 Maven 库。
  9. 单击 Install 。您可以在 Library 选项卡上查看磁带库的安装状态。
  10. 安装磁带库后,通过依次单击操作和重新启动来重新启动群集。
    当群集状态再次为“活动”时,您可以在记事本或工作流作业中使用代码中的库。

卸载库

可以从您拥有的群集卸载不需要的或不再需要的库。

  1. 导航到工作区,然后单击计算。
  2. 单击群集,然后单击 Library(库)选项卡。
  3. 在库旁边,单击 “操作三个点”图标 操作,然后单击 Uninstall(卸载)。
  4. 单击 Uninstall(卸载)。