Zustandsmonitor

Health Monitor erfasst alle sechzig Sekunden Informationen zum Festplattenspeicher, Systemspeicherinformationen und verarbeitet Speicherinformationen und speichert die Daten eines Tages in Tabellen im Performance Schema von MySQL Server. Wenn der verfügbare Speicherplatz oder der verfügbare Speicher unter bestimmte voreingestellte Schwellenwerte fällt, gibt Health Monitor Warnungen aus und protokolliert ihn in der Tabelle performance_schema.error_log.

Neben der Überwachung der aktuellen Datenträgernutzung trägt der Zustandsmonitor dazu bei, die Speicherauslastung zu verhindern, indem die zukünftige Nutzung durch aktuelle Trends und tägliche Zyklen vorhergesagt wird. Stündlich werden Prognosen für drei Horizonte generiert: 1 Stunde, 24 Stunden und 7 Tage, und sie werden in die Tabelle performance_schema.disk_forecast geschrieben. Außerdem wird eine stündliche Zusammenfassung erstellt und in die Tabelle performance_schema.disk_forecast_summary geschrieben. Prognosen sind im Allgemeinen genauer für stabile Workloads. Die Genauigkeit ist bei stark volatilen oder unregelmäßigen Datenträgernutzungsmustern geringer.

Health Monitor verwendet MiB/GiB/TiB-Speichereinheiten mit 100 GB = 93 GiB.

Der Gesamtspeicher, der für ein DB-System verfügbar ist, enthält Folgendes:

• Verfügbarer Speicher: Der Festplattenspeicher nach der Speicherreservierung wird vom Gesamtspeicher ausgeschlossen.
• Speicherreserve: Der Festplattenspeicherplatz, der kleiner als der disk_low_space_level- und disk_low_space_percent-Konfigurationsvariablen ist. Der Standardwert von disk_low_space_level ist 5.000 MiB, und der Standardwert von disk_low_space_percent beträgt 4% des Gesamtspeichers.
• Kritischer Speicher: Der Festplattenspeicher in der Speicherreserve unter dem kritischen Schwellenwert, der von der Konfigurationsvariable disk_low_space_critical_level definiert wird. Dies ist der minimal verfügbare Festplattenspeicherplatz für das System, um die Festplattenauslastung zu vermeiden. Der kritische Standardspeicherplatz ist 2.000 MiB.

Warnungen zu Festplattenspeicher

Wenn der Speicherplatz unter einen bestimmten Prozentsatz des verfügbaren Speichers fällt, gibt Health Monitor die folgenden Warnungen aus und protokolliert ihn in der Tabelle performance_schema.error_log:

• WARNING_DISK_USAGE_LEVEL_1: Wenn der Festplattenspeicher unter 20% des verfügbaren Speichers fällt.
• WARNING_DISK_USAGE_LEVEL_2: Wenn der Festplattenspeicher unter 10% des verfügbaren Speichers fällt.
• WARNING_DISK_USAGE_LEVEL_3: Wenn der Festplattenspeicher unter 5% des verfügbaren Speichers fällt.

Beispiel: Wenn der Gesamtspeicher 100.000 MiB beträgt und die Speicherreserve kleiner als die folgenden beiden Konfigurationsvariablen ist:

• disk_low_space_level: Der Standardwert ist 5.000 MiB.
• disk_low_space_percent: 4% des Gesamtspeichers, d.h. 4% von 100.000 MiB = 4.000 MiB.

Die Speicherreserve beträgt 4.000 MiB, was kleiner als die beiden Konfigurationsvariablen ist.

Den verfügbaren Speicher finden Sie, indem Sie die Lagerreserve vom Gesamtspeicher ausschließen:

100,000 - 4,000 = 96,000 MiB

Der Zustandsmonitor gibt die folgenden Warnungen aus:

• WARNING_DISK_USAGE_LEVEL_1: Wenn der Festplattenspeicher unter 20% des verfügbaren Speichers fällt, also 20/100*96.000 = 19.200 MiB.
• WARNING_DISK_USAGE_LEVEL_2: Wenn der Festplattenspeicher unter 10% des verfügbaren Speichers fällt, also 10/100*96.000 = 9.600 MiB.
• WARNING_DISK_USAGE_LEVEL_3: Wenn der Festplattenspeicher unter 5% des verfügbaren Speichers fällt, also 5/100*96.000 = 4.800 MiB.

Signifikanter oder anhaltender Speicherplatzmangel

Health Monitor definiert einen erheblichen oder anhaltenden Speicherplatzmangel, wenn die folgenden Bedingungen erfüllt sind:

• Erheblicher Engpass: Der Festplattenspeicher fällt unter den kritischen Schwellenwert, der von disk_low_space_critical_level definiert wird.
• Nachhaltiger Engpass: Der Festplattenspeicher fällt unter die Speicherreserve und verbleibt dann für die von der Konfigurationsvariablen disk_low_space_duration definierte Dauer in der Speicherreserve.

Wenn ein erheblicher oder anhaltender Speicherplatzmangel auftritt, führt Health Monitor Folgendes aus:

• SUPER_READ_ONLY=ON: Setzt die Systemvariablen SUPER_READ_ONLY in MySQL Server auf ON. MySQL Server lehnt alle neu eingehenden SQL-Schreibanweisungen (UPDATE, INSERT, DELETE und DDL) unabhängig von Benutzern und Berechtigungen ab. Laufende Transaktionen können abgeschlossen werden, neue Schreibvorgänge sind jedoch untersagt, bis der Festplattenspeicher wieder verfügbar ist. Sie können keine Daten in das Cluster HeatWave laden, wenn sich der Server im Modus SUPER_READ_ONLY befindet.

  In einigen Fällen hindern globale Lesesperren, laufende Commits oder Metadatensperren den Zustandsmonitor daran, die Systemvariable SUPER_READ_ONLY festzulegen. Wenn Sie in diesen Fällen die Variable health_monitor.disk_fallback_force festlegen, identifiziert und beendet der Zustandsmonitor aktive Abfragen mit globalen Sperren, um die Systemvariable SUPER_READ_ONLY festzulegen.

• OFFLINE_MODE=ON: Setzt die Systemvariable OFFLINE_MODE im MySQL Server auf ON. MySQL Server trennt die Verbindungen von Clientbenutzern, die nicht über die Berechtigung CONNECTION_ADMIN verfügen, beendet laufende Anweisungen, hebt Sperren auf und blockiert neue Verbindungen mit einem entsprechenden Fehler.
• super_read_only_disk_full=ON: Setzt die Statusvariable super_read_only_disk_full auf ON, um anzuzeigen, dass der schreibgeschützte Modus aufgrund von wenig Speicherplatz ausgelöst wurde. Sie können den Wert der Statusvariable super_read_only_disk_full mit einem der folgenden Befehle anzeigen:
  • SHOW GLOBAL STATUS WHERE variable_name = 'super_read_only_disk_full';
  • SELECT * FROM performance_schema.global_status WHERE variable_name = 'super_read_only_disk_full';

Systemvariablen ändern das Verhalten von MySQL Server, während Statusvariablen statische Indikatoren für den MySQL Server-Status sind.

Recovery in normalem Vorgang

Nachdem SUPER_READ_ONLY und OFFLINE_MODE festgelegt wurden, führt Health Monitor Folgendes aus:

• Überprüfen Sie den Speicherplatz jede Minute.
• Legen Sie OFFLINE_MODE=OFF fest, wenn der verfügbare Speicherplatz wiederhergestellt wird und disk_recovery_time_1 Sekunden oder länger über disk_recovery_level bleibt.
• Legen Sie SUPER_READ_ONLY=OFF fest, wenn der verfügbare Speicherplatz wiederhergestellt wird und für weitere disk_recovery_time_2 Sekunden oder länger über disk_recovery_level bleibt.

Normale Vorgänge werden fortgesetzt, sobald der Festplattenspeicher disk_recovery_time_1 + disk_recovery_time_2 Sekunden lang über disk_recovery_level bleibt.

Sobald der Speicherplatz wiederhergestellt wird, löscht Health Monitor die Systemvariablen SUPER_READ_ONLY und OFFLINE_MODE sowie die Statusvariable super_read_only_disk_full. Sie müssen die Instanz MySQL nicht neu starten, um die Variablen zu löschen.

Wenn wieder ein erheblicher oder anhaltender Speicherplatzmangel auftritt, setzt der Zustandsmonitor die Systemvariablen SUPER_READ_ONLY und OFFLINE_MODE sowie die Statusvariable super_read_only_disk_full im MySQL Server wieder auf ON.

Bevor eine primäre Instanz eines High-Availability-DB-Systems in den normalen Betriebsmodus versetzt wird, prüft der Health Monitor, ob der Server mit der Gruppenmehrheit online ist. Der Zustandsmonitor legt niemals SUPER_READ_ONLY oder OFFLINE_MODE für die sekundären Instanzen fest.

Recovery-Inkrement, maximaler Recovery-Zyklus und Recovery-Fenster

Jedes Mal, wenn MySQL Server aus einem erheblichen oder anhaltenden Speicherplatzmangel wiederhergestellt wird, erhöht der Health Monitor die Datenträger-Recovery-Zeit um disk_recovery_increment Sekunden.

Beispiel: Wenn disk_recovery_time_1 = 300 Sekunden und disk_recovery_time_2 = 600 Sekunden und disk_recovery_increment = 400 Sekunden sind, beträgt die Datenträger-Recovery-Zeit für jeden Zyklus wie folgt:

• Zyklus 1: disk_recovery_time_1 = 300 Sekunden, disk_recovery_time_2 = 600 Sekunden
• Zyklus 2: disk_recovery_time_1 = (300 + 400) Sekunden, disk_recovery_time_2 = (600+400) Sekunden
• Zyklus 3: disk_recovery_time_1 = (300+400+400) Sekunden, disk_recovery_time_2 = (600+400+400) Sekunden

Der Health Monitor stellt den normalen Betriebsmodus maximal disk_recovery_max_cycles Mal innerhalb eines festen Fensters von disk_recovery_window Sekunden ab dem letzten Recovery-Zyklus wieder her. Beispiel: Wenn disk_recovery_max_cycles auf 5 und disk_recovery_window auf 86.400 Sekunden (1 Tag) gesetzt ist, kann der Zustandsmonitor in einem Fenster von 86.400 Sekunden fünfmal den normalen Betriebsmodus wiederherstellen. Wenn beim sechsten Mal im selben Fenster ein erheblicher oder anhaltender Mangel auftritt, werden die Systemvariablen SUPER_READ_ONLY und OFFLINE_MODE auf ON gesetzt.

Die Recovery-Anzahl wird nach disk_recovery_window Sekunden nach dem letzten Recovery zurückgesetzt.

Speicherwarnungen

Wenn der verfügbare Speicher unter bestimmte Schwellenwerte fällt, gibt Health Monitor die folgenden Warnungen aus:

• WARNING_MEMORY_USAGE_LEVEL_1: Wenn der verfügbare Speicher unter 1024 MiB fällt.
• WARNING_MEMORY_USAGE_LEVEL_2: Wenn der verfügbare Speicher unter 500 MiB fällt.
• WARNING_MEMORY_USAGE_LEVEL_3: Wenn der verfügbare Speicher unter 100 MiB fällt.

Health Monitor protokolliert die Informationen zu MySQL-Version, globaler Speicherauslastung und verschiedenen Konfigurationseinstellungen im Fehlerlog. Die Informationen werden als durch Komma getrennte Werte protokolliert, um sie zur weiteren Analyse in eine Tabelle zu übertragen.

Prognosen für Datenträgernutzung

Health Monitor analysiert Ihre Datenträgernutzungstrends und prognostiziert potenzielle Speicherausfälle. So können Sie ungeplante Ausfälle vermeiden und Maßnahmen ergreifen, bevor der Festplattenspeicher kritisch wird.

Der Prognosestatus für die Datenträgernutzung kann einen der folgenden Werte aufweisen:

• CRITICAL: Wenn eine der folgenden Bedingungen erfüllt ist:
  • Aktuelle Nutzung ≥ 90% UND Tage bis Löschung ≤ 2 Tage.
  • Verwendungsrate ≥ 15%.
  • Aktuelle Nutzung ≥ 95%.
• WARNING: Wenn Aktuelle Nutzung ≥ 80% UND Tage bis Löschung ≤ 7 Tage beträgt.
• NORMAL: Wenn die Prognose die Bedingungen für CRITICAL oder WARNING nicht erfüllt.

Wobei

• Aktuelle Nutzung: Der aktuelle Prozentsatz der belegten Speicherkapazität.
• Nutzungsrate: Die Änderungsrate der Datenträgerauslastung, prozentuale Änderung pro Tag.
• Tage bis Löschung: Die Anzahl der Tage bis zur Speicherauslastung basierend auf dem Trend der prognostizierten Nutzung.

Die Prognosen für die Datenträgerauslastung werden in die Tabellen performance_schema.disk_forecast und performance_schema.disk_forecast_summary geschrieben. Diese Tabellen werden stündlich aktualisiert. Außerdem wird jede Stunde eine Zusammenfassung der Datenträgerauslastungsprognose in das Serverfehlerlog geschrieben.

Health Monitor-Tabellen speichern Überwachungsdaten und Statistiken im Performance Schema von MySQL Server.

Die Integritätstabellen enthalten Informationen zum Datenträgerspeicher, Informationen zum Systemspeicher und Informationen zum Prozessspeicher.

Die Statistiktabellen enthalten Statistiken zur CPU-Auslastung des Systems, zur Datenträgerauslastung, zur Speicherauslastung und zum Serverprozess MySQL (mysqld). Jede Statistiktabelle enthält zwei Versionen: eine On-Demand-Version, die bei der Abfrage mit aktuellen Messwerten aufgefüllt wird, und eine Historienversion, für die Health Monitor einmal pro Minute Stichproben abruft und die Daten eines Tages beibehält. Beide Versionen der Tabelle haben dieselben Spalten.

• Befehlszeilenclient verwenden
• Zustandsmonitortabellen

Die Zustandsmonitorvariablen sind Konfigurationseinstellungen für die Überwachungsaktivität im DB-System. Sie können die Werte dieser Variablen nicht ändern.

• Befehlszeilenclient verwenden
• Variablen des Zustandsmonitors

Die Fehler, Warnungen und Statusaktualisierungen des Zustandsmonitors werden in performance_schema.error_log protokolliert. Health Monitor reduziert TiB als T, GiB als G und MiB als M im Fehlerlog. Beispiel: 306.6G = 306.6 GiB = 329.2 GB.

[Note] [MY-013694] [Health] Disk Collector: Started: running=ON, monitored='/db', 
sample rate=30s, retention=86400s, max samples=2880, status interval=1, low level=100 MiB, 
low percent=4%, critical level=10 MiB, warning levels=20/10/5%, fallback (enable=ON, force=ON), 
low space duration=300s, recovery (enable=ON, level=5%, time 1=300s, time 2=300s, max cycles=3,
increment=10, window=86400)

[Warning] [MY-013695] [Health] Disk: Warning Level 2 (62M): monitored='/db', 
available=59M, total=466M, used=87.2%, low limit=18M, critical=10M, recovery=40M, 
warnings=107M/62M/40M

[Warning] [MY-013695] [Health] Disk: Low Level (18M): Fallback Timer Running: 300 seconds 
until SUPER_READ_ONLY: monitored='/db', available=15M, total=466M, used=96.6%, low limit=18M, 
critical=10M, recovery=40M, warnings=107M/62M/40M

[Warning] [MY-013695] [Health] Disk: Low Level (18M): Fallback Timer Running: 30 seconds until 
SUPER_READ_ONLY: monitored='/db', available=15M, total=466M, used=96.6%, low limit=18M, critical=10M, 
recovery=40M, warnings=107M/62M/40M
[Warning] [MY-013695] [Health] Disk: Low Level (18M): Fallback Timer Expired
[Warning] [MY-013695] [Health] Disk: Low Level (18M): OFFLINE_MODE = ON
[Warning] [MY-013695] [Health] Disk: Low Level (18M): SUPER_READ_ONLY = ON

[Warning] [MY-013695] [Health] Disk Collector: CRITICAL LEVEL (2G): 
OFFLINE_MODE=ON: mount point='/db', available=1.9G, total=1024G, 
used=99.1%, low limit=5.0G, critical=2.0G, warnings=204G/102G/51G 
[Warning] [MY-013695] [Health] Disk Collector: CRITICAL LEVEL (2G): 
SUPER_READ_ONLY=ON: mount point='/db', available=1.9G, total=1024G, 
used=99.1%, low limit=5.0G, critical=2.0G, warnings=204G/102G/51G

[Warning] [MY-013695] [Health] Disk: Low Level (18M): Fallback Timer Canceled
[Warning] [MY-013695] [Health] Disk: Warning Level 1 (107M): monitored='/db', available=79M, 
total=466M, used=82.9%, low limit=18M, critical=10M, recovery=40M, warnings=107M/62M/40M

[Warning] [MY-013695] [Health] MEMORY: WARNING LEVEL 1 (1.0G): available=950M, total=7.5G, used=87.6%, 
mysqld=5.9G, warnings=1.0G/500M/100M
[Warning] [MY-013695] [Health]  
[Warning] [MY-013695] [Health] ===== MEMORY DIAGNOSTICS BEGIN (csv) =====

---------------------------------------
TOTAL ALLOCATED MEMORY AND BUFFER SIZES
---------------------------------------
keyword,value
mysql_version,8.0.33
total_allocated,15121493496
innodb_buffer_pool_size,13958643712
join_buffer_size,262144
----------------------------------------
MEMORY AGGREGATION PER LOGICAL COMPONENT
----------------------------------------
component,current_count,current_alloc,max_alloc,min_alloc
...<csv data>...

-----------------------
MEMORY USAGE PER THREAD
-----------------------
thread_id,user,current_count_used,current_allocated,current_avg_alloc,current_max_alloc,total_allocated
...<csv data>...

-----------------------
MEMORY USAGE PER USER
-----------------------
user,current_count_used,current_allocated,current_avg_alloc,current_max_alloc,total_allocated
...<csv data>...

-------------------
PROCESSLIST DETAILS
-------------------
thd_id,conn_id,user,db,command,state,time,current_statement,execution_engine,statement_latency,progress,
lock_latency,cpu_latency,rows_examined,rows_sent,rows_affected,tmp_tables,tmp_disk_tables,full_scan,
last_statement,last_statement_latency,current_memory,last_wait,last_wait_latency,source,trx_latency,
trx_state,trx_autocommit,pid,program_name
...<csv data>...

---------------
SESSION DETAILS
---------------
thd_id,conn_id,user,db,command,state,time,current_statement,execution_engine,statement_latency,progress,
lock_latency,cpu_latency,rows_examined,rows_sent,rows_affected,tmp_tables,tmp_disk_tables,full_scan,
last_statement,last_statement_latency,current_memory,last_wait,last_wait_latency,source,trx_latency,
trx_state,trx_autocommit,pid,program_name
...<csv data>...

--------------------------------------------------------
CURRENT STATEMENT PER THREAD ORDERED BY STATEMENT MEMORY
--------------------------------------------------------
THREAD_ID,EVENT_ID,END_EVENT_ID,EVENT_NAME,SOURCE,TIMER_START,TIMER_END,TIMER_WAIT,LOCK_TIME,SQL_TEXT,
DIGEST,DIGEST_TEXT,CURRENT_SCHEMA,OBJECT_TYPE,OBJECT_SCHEMA,OBJECT_NAME,OBJECT_INSTANCE_BEGIN,MYSQL_ERRNO,
RETURNED_SQLSTATE,MESSAGE_TEXT,ERRORS,WARNINGS,ROWS_AFFECTED,ROWS_SENT,ROWS_EXAMINED,CREATED_TMP_DISK_TABLES,
CREATED_TMP_TABLES,SELECT_FULL_JOIN,SELECT_FULL_RANGE_JOIN,SELECT_RANGE,SELECT_RANGE_CHECK,SELECT_SCAN,
SORT_MERGE_PASSES,SORT_RANGE,SORT_ROWS,SORT_SCAN,NO_INDEX_USED,NO_GOOD_INDEX_USED,NESTING_EVENT_ID,
NESTING_EVENT_TYPE,NESTING_EVENT_LEVEL,STATEMENT_ID,CPU_TIME,MAX_CONTROLLED_MEMORY,MAX_TOTAL_MEMORY,
EXECUTION_ENGINE
...<csv data>...

----------------------------------------------------------
CURRENT STATEMENT PER THREAD FOR THREADS USING MOST MEMORY
----------------------------------------------------------
THREAD_ID,EVENT_ID,END_EVENT_ID,EVENT_NAME,SOURCE,TIMER_START,TIMER_END,TIMER_WAIT,LOCK_TIME,SQL_TEXT,
DIGEST,DIGEST_TEXT,CURRENT_SCHEMA,OBJECT_TYPE,OBJECT_SCHEMA,OBJECT_NAME,OBJECT_INSTANCE_BEGIN,MYSQL_ERRNO,
RETURNED_SQLSTATE,MESSAGE_TEXT,ERRORS,WARNINGS,ROWS_AFFECTED,ROWS_SENT,ROWS_EXAMINED,CREATED_TMP_DISK_TABLES,
CREATED_TMP_TABLES,SELECT_FULL_JOIN,SELECT_FULL_RANGE_JOIN,SELECT_RANGE,SELECT_RANGE_CHECK,SELECT_SCAN,
SORT_MERGE_PASSES,SORT_RANGE,SORT_ROWS,SORT_SCAN,NO_INDEX_USED,NO_GOOD_INDEX_USED,NESTING_EVENT_ID,
NESTING_EVENT_TYPE,NESTING_EVENT_LEVEL,STATEMENT_ID,CPU_TIME,MAX_CONTROLLED_MEMORY,MAX_TOTAL_MEMORY,
EXECUTION_ENGINE,thread_id
...<csv data>...

----------------------------------------------------------
STATEMENT HISTORY PER THREAD FOR THREADS USING MOST MEMORY
----------------------------------------------------------
THREAD_ID,EVENT_ID,END_EVENT_ID,EVENT_NAME,SOURCE,TIMER_START,TIMER_END,TIMER_WAIT,LOCK_TIME,SQL_TEXT,
DIGEST,DIGEST_TEXT,CURRENT_SCHEMA,OBJECT_TYPE,OBJECT_SCHEMA,OBJECT_NAME,OBJECT_INSTANCE_BEGIN,MYSQL_ERRNO,
RETURNED_SQLSTATE,MESSAGE_TEXT,ERRORS,WARNINGS,ROWS_AFFECTED,ROWS_SENT,ROWS_EXAMINED,CREATED_TMP_DISK_TABLES,
CREATED_TMP_TABLES,SELECT_FULL_JOIN,SELECT_FULL_RANGE_JOIN,SELECT_RANGE,SELECT_RANGE_CHECK,SELECT_SCAN,
SORT_MERGE_PASSES,SORT_RANGE,SORT_ROWS,SORT_SCAN,NO_INDEX_USED,NO_GOOD_INDEX_USED,NESTING_EVENT_ID,
NESTING_EVENT_TYPE,NESTING_EVENT_LEVEL,STATEMENT_ID,CPU_TIME,MAX_CONTROLLED_MEMORY,MAX_TOTAL_MEMORY,
EXECUTION_ENGINE,thread_id
...<csv data>...

-----------------------------
EVENTS ALLOCATING MOST MEMORY
-----------------------------
processlist_id,processlist_user,thread_id,event_name,count_alloc,count_free,current_count_used,
current_number_of_bytes_used
...<csv data>...

----------------------
BUFFER POOL STATISTICS
----------------------
POOL_ID,POOL_SIZE,FREE_BUFFERS,DATABASE_PAGES,OLD_DATABASE_PAGES,MODIFIED_DATABASE_PAGES,PENDING_DECOMPRESS,
PENDING_READS,PENDING_FLUSH_LRU,PENDING_FLUSH_LIST,PAGES_MADE_YOUNG,PAGES_NOT_MADE_YOUNG,PAGES_MADE_YOUNG_RATE,
PAGES_MADE_NOT_YOUNG_RATE,NUMBER_PAGES_READ,NUMBER_PAGES_CREATED,NUMBER_PAGES_WRITTEN,PAGES_READ_RATE,
PAGES_CREATE_RATE,PAGES_WRITTEN_RATE,NUMBER_PAGES_GET,HIT_RATE,YOUNG_MAKE_PER_THOUSAND_GETS,
NOT_YOUNG_MAKE_PER_THOUSAND_GETS,NUMBER_PAGES_READ_AHEAD,NUMBER_READ_AHEAD_EVICTED,READ_AHEAD_RATE,
READ_AHEAD_EVICTED_RATE,LRU_IO_TOTAL,LRU_IO_CURRENT,UNCOMPRESS_TOTAL,UNCOMPRESS_CURRENT
...<csv data>...