20 代理程式記憶體

代理程式記憶體是 AI 代理程式系統的一部分,可讓代理程式跨回合、工作或階段作業保留及重複使用資訊。

與模型的相關資訊環境視窗不同 (暫時性且僅限於目前的提示),記憶體可以保存環境的事實、偏好設定、先前的決策、工具輸出、中繼計畫或監測項目。

Oracle AI Data Platform 中的代理程式記憶體

AI 資料平台提供短期記憶體,僅限於階段作業的持續時間。您可以在代理程式的相關資訊環境頁籤中設定可保留在記憶體中的項目。

單一代理程式記憶體組態

您可以在代理程式節點的相關資訊環境頁籤中找到單一代理程式系統的記憶體組態。


視覺化產生器工作區會以單一代理程式節點 InvoiceAnalyst 顯示。已選取節點並反白顯示「環境定義」頁籤。

記憶體組態 描述
啟用代理程式記憶體 此設定會啟用代理程式記憶體。停用時,代理程式基本上是無狀態系統。每輪流均獨立處理,不會詢問後續問題。建議您啟用記憶體。
限制通話歷史記錄 停用此選項時,前一輪會填滿記憶體,直到模型用完環境定義並傳回錯誤為止。如果預期短暫階段作業,則可以停用此設定。不過,對於大多數使用案例,Oracle 建議限制對話歷史記錄。
截斷組態 如果您選擇限制對話歷史記錄,可以決定透過下列方式截斷歷史記錄:
  • 僅保留最後 N 則訊息 (使用者 + 專員)
  • 設定整體權杖預算 (先進先出)
  • 或者兩者,以先觸發代理程式記憶體截斷的條件為準
訊息上限 如果您選擇保留最後 N 則訊息,您可以將值設為 N。
權杖預算 或者,您可以設定整體的記號預算。消除第一個記號,以將最新的記號保留在記憶體中。

多代理程式系統記憶體組態 (監督器樣式)

多重代理程式系統的記憶體是在監督器代理程式的相關資訊環境頁籤中設定。


視覺化產生器工作區會顯示一個多代理程式。會選取 AccountsManager 節點,並顯示「記憶體」頁籤。

多重代理程式系統的記憶體已強制執行且無法停用,而且監督器代理程式節點中顯示的記憶體截斷選項只會套用至監督器代理程式記憶體。您可以根據為整個系統選取的狀態隔離原則,在執行程式節點相關資訊環境頁籤中設定每個執行程式代理程式記憶體截斷原則。

多代理程式系統記憶體組態也可讓您選取執行程式代理程式的記憶體共用原則。可能有三個選項:「無狀態」、「專用」和「共用」。請注意,原則會套用至所有執行程式代理程式。

執行器代理程式的狀態隔離 描述
無狀態 每個執行程式代理程式只會見到主管所指派的工作。通話之間不會結轉任何歷史記錄。執行程式代理程式無法對監督器代理程式提出後續追蹤要求。

如果選取無狀態,則會停用每個執行程式代理程式的記憶體。

私人 每個執行程式代理程式只會看到自己的過去互動。它無法看到其他執行程式代理程式或與主管代理程式的原始使用者對話。

如果選取專用,您可以為每個代理程式節點相關資訊環境「記憶體」頁籤中的每個執行程式代理程式分別設定記憶體截斷原則。

分享 執行人員代理程式可以查看所有代理程式和使用者的完整對話歷史記錄。所有代理程式都從一個共用相關資訊環境運作。

如果選取共用,您可以分別為每個代理程式節點相關資訊環境頁籤中的每個執行程式代理程式設定記憶體截斷原則。

代理程式中的已儲存記憶體

當您的代理程式部署並提供更多使用者服務時,請務必監控用於儲存代理程式階段作業資料的資料庫容量。您可以從預存記憶體頁籤查看並修改代理程式的預存記憶體設定值。您可以按一下編輯來修改長期記憶體和階段作業保留設定值。


代理程式頁面開啟時,選取並反白顯示「儲存的記憶體」頁籤。

設定 描述
連線狀態 Oracle Autonomous AI Lakehouse 的連線狀態,其中儲存所有階段作業資料。
已使用的 ADB 容量 此代理程式之所有階段作業所使用的資料庫容量總計。
階段作業 此專員的工作階段總數。包括測試 (遊樂場) 和部署階段作業。
AI 運算 代管代理程式之 AI 運算的名稱。如果已部署代理程式,此為代管部署的 AI 運算。否則,這是代管操場的 AI 運算。

長期記憶體

您可以設定您的代理程式,讓使用者透過多個階段作業與同一個代理程式互動。使用者可以共用重要資訊 (例如偏好設定),代理程式也可以從多個階段作業中採用的通用模式學習,例如使用的工具。能夠跨多個階段作業存取擷取的記憶體,可透過長期記憶體啟用。

您可以從代理程式的儲存的記憶體頁籤設定長期記憶體。

階段作業資料保留

Oracle AI Data Platform 中的階段作業資料指的是代理程式與使用者在階段作業期間交換的所有訊息。

附註:

Oracle 強烈建議您為儲存在 Oracle Autonomous AI Lakehouse 資料庫中的階段作業資料建立冷儲存複本,以保留使用者與代理程式之間交換之所有訊息的完整記錄,以支援稽核、法律探索及訴訟。

階段作業可能會持續數小時、數天或甚至數週,導致階段作業資料交換並保留大量訊息。所有 AI Data Platform 階段作業資料都儲存在佈建供執行處理啟用 AI 功能的 Autonomous AI Lakehouse 中。如需詳細資訊,請參閱 AI 功能管理。

依預設, AI Data Platform 不會限制佈建之 Autonomous AI Lakehouse 中每個階段作業所儲存的階段作業資料量。因此,當代理程式正規地用於多個階段作業的許多使用者時,階段作業資料可能會快速成長。若要管理此項目,Oracle 建議您設定保留階段作業資料的限制。

第一次建立代理程式時,可以設定其階段作業保留設定值。請參閱建立代理程式。如果代理程式已經建立,而您想要重新設定其階段作業保留設定值,則可以從階段作業記憶體頁籤進行。

設定 描述
階段作業保留 啟用套用保留原則以設定當達到指定的限制時,如何及何時移除階段作業資料。
保留限制 選取管理梯次資料限制的方法:
  • 保留期間定義階段作業資料保留的時間範圍 (天)。當階段作業資料達到到期時,就會從您的 Autonomous AI Lakehouse 中刪除該資料。
  • 階段作業大小限制會為保留的階段作業資料定義上限 (MB)。達到此上限時,會先刪除最舊的資料。
  • 執行緒計數限制會定義階段作業資料中保留之執行緒數的上限,也就是使用者訊息與代理程式回應的組合。達到上限時,會先刪除最舊的執行緒。

自動彙總

自動彙總可獨立於階段作業保留之外啟用。自動彙總會套用至插入模型「內容」視窗中的對話式資料。此選項總結列出將超過所選模型之內容長度 80% 的舊訊息。

如果您想要保留資料庫中長期階段作業的資料,同時防止這些長期階段作業覆寫代理程式的相關資訊環境視窗,這是啟用此選項。

附註:

LLM 會產生摘要,以便在刪除較舊的來源訊息之前保留重要內容。某些精確的字詞、中間步驟或優先順序較低的詳細資料可能無法保留。

啟用代理程式的長期記憶體

您可以為代理程式啟用長期記憶體,以便在多個階段作業中與同一個代理程式互動。

  1. 瀏覽至您的專員。
  2. 按一下「儲存的記憶體」頁籤。
  3. 選取啟用長期記憶體。
  4. 選取用於支援代理程式長期記憶體的模型和區域。
  5. 選擇性:您可以讓代理程式記憶體在階段作業之間共用。如果停用,您的代理程式僅限於在相同階段作業中擷取的記憶體。如果啟用此選項,代理程式便可存取由相同使用者起始之所有階段作業中擷取的記憶體。

檢視代理程式階段作業資料保留設定值

您可以在儲存的記憶體頁籤中,檢視代理程式目前的階段作業資料保留設定值組態。

  1. 瀏覽至您的專員。
  2. 按一下「儲存的記憶體」頁籤。

修改代理程式階段作業資料保留設定值

您可以啟用、停用及修改代理程式的階段作業資料保留設定值。

  1. 瀏覽至您的專員。
  2. 按一下「儲存的記憶體」頁籤。
  3. 按一下編輯。
  4. 選取套用保留原則以啟用或取消選取要停用的原則。
  5. 設定保留限制:
    • 在保留期間中,提供從 Oracle Autonomous AI Lakehouse 刪除階段作業資料之前,階段作業資料的保留天數。
    • 若為階段作業大小限制,請為保留的階段作業資料提供儲存上限 (MB)。達到此限制時,會刪除最舊的階段作業訊息。
    • 針對執行緒計數限制,提供保留的執行緒數 (使用者訊息與代理程式回應的組合) 限制。達到此限制時,會刪除最舊的階段作業繫線。
  6. 選取自動彙總以保留重要階段作業資訊的彙總。
  7. 按一下節省變更。