Health Monitor échantillonne les informations d'espace disque, les informations de mémoire système et les informations de mémoire de traitement toutes les soixante secondes, et stocke une journée de données dans des tables du schéma de performances de MySQL Server. Si l'espace disque disponible ou la mémoire disponible est inférieur à certains seuils prédéfinis, Health Monitor émet des avertissements et les consigne dans la table performance_schema.error_log.

Health Monitor utilise des unités de stockage MiB/GiB/TiB où 100 Go = 93 GiB.

Le stockage total disponible pour un système de base de données contient les éléments suivants :

• Stockage disponible : l'espace disque après la réserve de stockage est exclu du stockage total.
• Réserve de stockage : espace disque inférieur aux variables de configuration disk_low_space_level et disk_low_space_percent. La valeur par défaut de disk_low_space_level est 5 000 MiB, et la valeur par défaut de disk_low_space_percent est 4 % du stockage total.
• Stockage critique : l'espace disque dans la réserve de stockage est inférieur au seuil critique, défini par la variable de configuration disk_low_space_critical_level. Il s'agit de l'espace disque minimum viable pour le système afin d'éviter l'épuisement du disque. L'espace de stockage critique par défaut est de 2 000 MiB.

Avertissements relatifs à l'espace disque

Lorsque l'espace disque est inférieur à un certain pourcentage du stockage disponible, Health Monitor émet les avertissements suivants et les consigne dans la table performance_schema.error_log :

• WARNING_DISK_USAGE_LEVEL_1 : lorsque l'espace disque est inférieur à 20 % du stockage disponible.
• WARNING_DISK_USAGE_LEVEL_2 : lorsque l'espace disque est inférieur à 10 % du stockage disponible.
• WARNING_DISK_USAGE_LEVEL_3 : lorsque l'espace disque est inférieur à 5 % du stockage disponible.

Par exemple, si le stockage total est de 100 000 MiB et que la réserve de stockage est inférieure aux deux variables de configuration suivantes :

• disk_low_space_level : la valeur par défaut est 5 000 MiB.
• disk_low_space_percent : il s'agit de 4 % du stockage total, soit 4 % de 100 000 MiB = 4 000 MiB.

La réserve de stockage est de 4 000 MiB, ce qui est inférieur aux deux variables de configuration.

Vous pouvez trouver le stockage disponible en excluant la réserve de stockage du stockage total :

100,000 - 4,000 = 96,000 MiB

L'outil de surveillance de l'état émet les avertissements suivants :

• WARNING_DISK_USAGE_LEVEL_1 : lorsque l'espace disque est inférieur à 20 % du stockage disponible, soit 20/100*96 000 = 19 200 MiB.
• WARNING_DISK_USAGE_LEVEL_2 : lorsque l'espace disque est inférieur à 10 % du stockage disponible, soit 10/100*96 000 = 9 600 MiB.
• WARNING_DISK_USAGE_LEVEL_3 : lorsque l'espace disque est inférieur à 5 % du stockage disponible, soit 5/100*96 000 = 4 800 MiB.

Manque important ou durable d'espace disque

Health Monitor définit une pénurie importante ou prolongée d'espace disque lorsque les conditions suivantes sont remplies :

• Pénurie significative : l'espace disque passe en dessous du seuil critique défini par disk_low_space_critical_level.
• Pénurie prolongée : l'espace disque passe sous la réserve de stockage, puis reste dans la réserve de stockage pendant la durée définie par la variable de configuration disk_low_space_duration.

En cas de pénurie importante ou prolongée d'espace disque, Health Monitor effectue les opérations suivantes :

• SUPER_READ_ONLY=ON : définit les variables système, SUPER_READ_ONLY, sur ON dans MySQL Server. MySQL Server rejette toutes les nouvelles instructions d'écriture SQL entrantes (UPDATE, INSERT, DELETE et DDL), indépendamment des utilisateurs et des privilèges. L'exécution des transactions est autorisée, mais les nouvelles écritures sont interdites jusqu'à ce que l'espace disque soit à nouveau disponible. Vous ne pouvez pas charger de données dans le cluster HeatWave lorsque le serveur est en mode SUPER_READ_ONLY.

  Dans certains cas, les verrous globaux de lecture, les validations en cours ou les verrous de métadonnées empêchent Health Monitor de définir la variable système SUPER_READ_ONLY. Dans ce cas, si vous définissez la variable health_monitor.disk_fallback_force, Health Monitor identifie et met fin aux requêtes actives contenant des verrous globaux pour définir la variable système SUPER_READ_ONLY.

• OFFLINE_MODE=ON : définit la variable système OFFLINE_MODE sur ON dans MySQL Server. MySQL Server déconnecte les utilisateurs client qui ne disposent pas du privilège CONNECTION_ADMIN, met fin aux instructions en cours d'exécution, déverrouille et bloque les nouvelles connexions avec une erreur appropriée.
• super_read_only_disk_full=ON : définit la variable de statut, super_read_only_disk_full, sur ON, indiquant que le mode lecture seule a été déclenché en raison d'un espace disque faible. Vous pouvez voir la valeur de la variable de statut super_read_only_disk_full à l'aide de l'une des commandes suivantes :
  • SHOW GLOBAL STATUS WHERE variable_name = 'super_read_only_disk_full';
  • SELECT * FROM performance_schema.global_status WHERE variable_name = 'super_read_only_disk_full';

Les variables système modifient le comportement de MySQL Server, tandis que les variables de statut sont des indicateurs statiques de l'état de MySQL Server.

Récupération en fonctionnement normal

Une fois les paramètres SUPER_READ_ONLY et OFFLINE_MODE définis, Health Monitor effectue les opérations suivantes :

• Vérifiez l'espace disque toutes les minutes .
• Définissez OFFLINE_MODE=OFF si l'espace disque disponible est récupéré et reste supérieur à disk_recovery_level pendant disk_recovery_time_1 secondes ou plus.
• Définissez SUPER_READ_ONLY=OFF si l'espace disque disponible est récupéré et reste au-dessus de disk_recovery_level pendant au moins disk_recovery_time_2 secondes.

Les opérations normales reprennent une fois que l'espace disque reste supérieur à disk_recovery_level pendant disk_recovery_time_1 + disk_recovery_time_2 secondes.

Une fois l'espace disque récupéré, Health Monitor efface les variables système, SUPER_READ_ONLY et OFFLINE_MODE, ainsi que la variable de statut, super_read_only_disk_full. Vous n'avez pas besoin de redémarrer l'instance MySQL pour effacer les variables.

En cas de manque important ou soutenu d'espace disque à nouveau, Health Monitor définit à nouveau les variables système SUPER_READ_ONLY et OFFLINE_MODE, ainsi que la variable de statut super_read_only_disk_full sur ON dans MySQL Server.

Avant de remettre une instance principale d'un système de base de données haute disponibilité en mode de fonctionnement normal, Health Monitor vérifie que le serveur est en ligne avec la majorité du groupe. Health Monitor ne définit jamais SUPER_READ_ONLY ni OFFLINE_MODE sur les instances secondaires.

Incrément de récupération, cycle maximal de récupération et fenêtre de récupération

Chaque fois que MySQL Server récupère suite à une pénurie importante ou prolongée d'espace disque, Health Monitor augmente le temps de récupération du disque de disk_recovery_increment secondes.

Par exemple, si disk_recovery_time_1 = 300 secondes, disk_recovery_time_2 = 600 secondes et disk_recovery_increment = 400 secondes, le temps de récupération sur disque pour chaque cycle est le suivant :

• Cycle 1 : disk_recovery_time_1 = 300 secondes, disk_recovery_time_2 = 600 secondes
• Cycle 2 : disk_recovery_time_1 = (300 + 400) secondes, disk_recovery_time_2 = (600 + 400) secondes
• Cycle 3 : disk_recovery_time_1 = (300 + 400 + 400) secondes, disk_recovery_time_2 = (600 + 400 + 400) secondes

L'outil de surveillance de l'état restaure en mode de fonctionnement normal un maximum de disk_recovery_max_cycles fois dans une fenêtre fixe de disk_recovery_window secondes, à partir du dernier cycle de récupération. Par exemple, si disk_recovery_max_cycles est défini sur 5 et que disk_recovery_window est défini sur 86 400 secondes (1 jour), Health Monitor peut rétablir le mode de fonctionnement normal cinq fois dans une fenêtre de 86 400 secondes. Si une pénurie importante ou prolongée se produit la sixième fois dans la même fenêtre, les variables système SUPER_READ_ONLY et OFFLINE_MODE sont définies sur ON.

Le nombre de récupérations est réinitialisé après disk_recovery_window secondes à partir de la dernière récupération.

Avertissements de mémoire

Lorsque la mémoire disponible est inférieure à certains seuils, Health Monitor émet les avertissements suivants :

• WARNING_MEMORY_USAGE_LEVEL_1 : lorsque la mémoire disponible est inférieure à 1024 MiB.
• WARNING_MEMORY_USAGE_LEVEL_2 : lorsque la mémoire disponible est inférieure à 500 MiB.
• WARNING_MEMORY_USAGE_LEVEL_3 : lorsque la mémoire disponible est inférieure à 100 MiB.

Health Monitor consigne dans le journal d'erreurs les informations relatives à la version MySQL, à l'utilisation globale de la mémoire et aux différents paramètres de configuration. Les informations sont consignées sous forme de valeurs séparées par des virgules pour faciliter le transfert dans une feuille de calcul en vue d'une analyse plus approfondie.

Les tables Health Monitor stockent les données et les statistiques de surveillance dans le schéma de performances de MySQL Server.

Les tables d'intégrité contiennent des informations relatives au stockage sur disque, à la mémoire système et à la mémoire de processus.

Les tables de statistiques contiennent des statistiques relatives à l'utilisation de l'UC système, à l'utilisation du disque, à l'utilisation de la mémoire et au processus serveur MySQL (mysqld). Chaque table de statistiques comporte deux versions, une version à la demande, qui est renseignée avec les relevés en cours lorsque vous l'interrogez, et une version d'historique pour laquelle Health Monitor prélève des échantillons une fois par minute et conserve la valeur des données d'une journée. Les deux versions de la table ont les mêmes colonnes.

• Utilisation d'un client de ligne de commande
• Tables du moniteur d'état

Les variables Health Monitor sont des paramètres de configuration de l'activité de surveillance dans le système de base de données. Vous ne pouvez pas modifier les valeurs de ces variables.

• Utilisation d'un client de ligne de commande
• Variables de l'outil de surveillance de l'état

Les erreurs, les avertissements et les mises à jour de statut de l'outil de surveillance de l'état sont consignés dans performance_schema.error_log. Health Monitor abrége TiB en T, GiB en G et MiB en M dans le journal d'erreurs. Par exemple, 306.6G = 306,6 GiB = 329,2 Go.

[Note] [MY-013694] [Health] Disk Collector: Started: running=ON, monitored='/db', 
sample rate=30s, retention=86400s, max samples=2880, status interval=1, low level=100 MiB, 
low percent=4%, critical level=10 MiB, warning levels=20/10/5%, fallback (enable=ON, force=ON), 
low space duration=300s, recovery (enable=ON, level=5%, time 1=300s, time 2=300s, max cycles=3,
increment=10, window=86400)

[Warning] [MY-013695] [Health] Disk: Warning Level 2 (62M): monitored='/db', 
available=59M, total=466M, used=87.2%, low limit=18M, critical=10M, recovery=40M, 
warnings=107M/62M/40M

[Warning] [MY-013695] [Health] Disk: Low Level (18M): Fallback Timer Running: 300 seconds 
until SUPER_READ_ONLY: monitored='/db', available=15M, total=466M, used=96.6%, low limit=18M, 
critical=10M, recovery=40M, warnings=107M/62M/40M

[Warning] [MY-013695] [Health] Disk: Low Level (18M): Fallback Timer Running: 30 seconds until 
SUPER_READ_ONLY: monitored='/db', available=15M, total=466M, used=96.6%, low limit=18M, critical=10M, 
recovery=40M, warnings=107M/62M/40M
[Warning] [MY-013695] [Health] Disk: Low Level (18M): Fallback Timer Expired
[Warning] [MY-013695] [Health] Disk: Low Level (18M): OFFLINE_MODE = ON
[Warning] [MY-013695] [Health] Disk: Low Level (18M): SUPER_READ_ONLY = ON

[Warning] [MY-013695] [Health] Disk Collector: CRITICAL LEVEL (2G): 
OFFLINE_MODE=ON: mount point='/db', available=1.9G, total=1024G, 
used=99.1%, low limit=5.0G, critical=2.0G, warnings=204G/102G/51G 
[Warning] [MY-013695] [Health] Disk Collector: CRITICAL LEVEL (2G): 
SUPER_READ_ONLY=ON: mount point='/db', available=1.9G, total=1024G, 
used=99.1%, low limit=5.0G, critical=2.0G, warnings=204G/102G/51G

[Warning] [MY-013695] [Health] Disk: Low Level (18M): Fallback Timer Canceled
[Warning] [MY-013695] [Health] Disk: Warning Level 1 (107M): monitored='/db', available=79M, 
total=466M, used=82.9%, low limit=18M, critical=10M, recovery=40M, warnings=107M/62M/40M

[Warning] [MY-013695] [Health] MEMORY: WARNING LEVEL 1 (1.0G): available=950M, total=7.5G, used=87.6%, 
mysqld=5.9G, warnings=1.0G/500M/100M
[Warning] [MY-013695] [Health]  
[Warning] [MY-013695] [Health] ===== MEMORY DIAGNOSTICS BEGIN (csv) =====

---------------------------------------
TOTAL ALLOCATED MEMORY AND BUFFER SIZES
---------------------------------------
keyword,value
mysql_version,8.0.33
total_allocated,15121493496
innodb_buffer_pool_size,13958643712
join_buffer_size,262144
----------------------------------------
MEMORY AGGREGATION PER LOGICAL COMPONENT
----------------------------------------
component,current_count,current_alloc,max_alloc,min_alloc
...<csv data>...

-----------------------
MEMORY USAGE PER THREAD
-----------------------
thread_id,user,current_count_used,current_allocated,current_avg_alloc,current_max_alloc,total_allocated
...<csv data>...

-----------------------
MEMORY USAGE PER USER
-----------------------
user,current_count_used,current_allocated,current_avg_alloc,current_max_alloc,total_allocated
...<csv data>...

-------------------
PROCESSLIST DETAILS
-------------------
thd_id,conn_id,user,db,command,state,time,current_statement,execution_engine,statement_latency,progress,
lock_latency,cpu_latency,rows_examined,rows_sent,rows_affected,tmp_tables,tmp_disk_tables,full_scan,
last_statement,last_statement_latency,current_memory,last_wait,last_wait_latency,source,trx_latency,
trx_state,trx_autocommit,pid,program_name
...<csv data>...

---------------
SESSION DETAILS
---------------
thd_id,conn_id,user,db,command,state,time,current_statement,execution_engine,statement_latency,progress,
lock_latency,cpu_latency,rows_examined,rows_sent,rows_affected,tmp_tables,tmp_disk_tables,full_scan,
last_statement,last_statement_latency,current_memory,last_wait,last_wait_latency,source,trx_latency,
trx_state,trx_autocommit,pid,program_name
...<csv data>...

--------------------------------------------------------
CURRENT STATEMENT PER THREAD ORDERED BY STATEMENT MEMORY
--------------------------------------------------------
THREAD_ID,EVENT_ID,END_EVENT_ID,EVENT_NAME,SOURCE,TIMER_START,TIMER_END,TIMER_WAIT,LOCK_TIME,SQL_TEXT,
DIGEST,DIGEST_TEXT,CURRENT_SCHEMA,OBJECT_TYPE,OBJECT_SCHEMA,OBJECT_NAME,OBJECT_INSTANCE_BEGIN,MYSQL_ERRNO,
RETURNED_SQLSTATE,MESSAGE_TEXT,ERRORS,WARNINGS,ROWS_AFFECTED,ROWS_SENT,ROWS_EXAMINED,CREATED_TMP_DISK_TABLES,
CREATED_TMP_TABLES,SELECT_FULL_JOIN,SELECT_FULL_RANGE_JOIN,SELECT_RANGE,SELECT_RANGE_CHECK,SELECT_SCAN,
SORT_MERGE_PASSES,SORT_RANGE,SORT_ROWS,SORT_SCAN,NO_INDEX_USED,NO_GOOD_INDEX_USED,NESTING_EVENT_ID,
NESTING_EVENT_TYPE,NESTING_EVENT_LEVEL,STATEMENT_ID,CPU_TIME,MAX_CONTROLLED_MEMORY,MAX_TOTAL_MEMORY,
EXECUTION_ENGINE
...<csv data>...

----------------------------------------------------------
CURRENT STATEMENT PER THREAD FOR THREADS USING MOST MEMORY
----------------------------------------------------------
THREAD_ID,EVENT_ID,END_EVENT_ID,EVENT_NAME,SOURCE,TIMER_START,TIMER_END,TIMER_WAIT,LOCK_TIME,SQL_TEXT,
DIGEST,DIGEST_TEXT,CURRENT_SCHEMA,OBJECT_TYPE,OBJECT_SCHEMA,OBJECT_NAME,OBJECT_INSTANCE_BEGIN,MYSQL_ERRNO,
RETURNED_SQLSTATE,MESSAGE_TEXT,ERRORS,WARNINGS,ROWS_AFFECTED,ROWS_SENT,ROWS_EXAMINED,CREATED_TMP_DISK_TABLES,
CREATED_TMP_TABLES,SELECT_FULL_JOIN,SELECT_FULL_RANGE_JOIN,SELECT_RANGE,SELECT_RANGE_CHECK,SELECT_SCAN,
SORT_MERGE_PASSES,SORT_RANGE,SORT_ROWS,SORT_SCAN,NO_INDEX_USED,NO_GOOD_INDEX_USED,NESTING_EVENT_ID,
NESTING_EVENT_TYPE,NESTING_EVENT_LEVEL,STATEMENT_ID,CPU_TIME,MAX_CONTROLLED_MEMORY,MAX_TOTAL_MEMORY,
EXECUTION_ENGINE,thread_id
...<csv data>...

----------------------------------------------------------
STATEMENT HISTORY PER THREAD FOR THREADS USING MOST MEMORY
----------------------------------------------------------
THREAD_ID,EVENT_ID,END_EVENT_ID,EVENT_NAME,SOURCE,TIMER_START,TIMER_END,TIMER_WAIT,LOCK_TIME,SQL_TEXT,
DIGEST,DIGEST_TEXT,CURRENT_SCHEMA,OBJECT_TYPE,OBJECT_SCHEMA,OBJECT_NAME,OBJECT_INSTANCE_BEGIN,MYSQL_ERRNO,
RETURNED_SQLSTATE,MESSAGE_TEXT,ERRORS,WARNINGS,ROWS_AFFECTED,ROWS_SENT,ROWS_EXAMINED,CREATED_TMP_DISK_TABLES,
CREATED_TMP_TABLES,SELECT_FULL_JOIN,SELECT_FULL_RANGE_JOIN,SELECT_RANGE,SELECT_RANGE_CHECK,SELECT_SCAN,
SORT_MERGE_PASSES,SORT_RANGE,SORT_ROWS,SORT_SCAN,NO_INDEX_USED,NO_GOOD_INDEX_USED,NESTING_EVENT_ID,
NESTING_EVENT_TYPE,NESTING_EVENT_LEVEL,STATEMENT_ID,CPU_TIME,MAX_CONTROLLED_MEMORY,MAX_TOTAL_MEMORY,
EXECUTION_ENGINE,thread_id
...<csv data>...

-----------------------------
EVENTS ALLOCATING MOST MEMORY
-----------------------------
processlist_id,processlist_user,thread_id,event_name,count_alloc,count_free,current_count_used,
current_number_of_bytes_used
...<csv data>...

----------------------
BUFFER POOL STATISTICS
----------------------
POOL_ID,POOL_SIZE,FREE_BUFFERS,DATABASE_PAGES,OLD_DATABASE_PAGES,MODIFIED_DATABASE_PAGES,PENDING_DECOMPRESS,
PENDING_READS,PENDING_FLUSH_LRU,PENDING_FLUSH_LIST,PAGES_MADE_YOUNG,PAGES_NOT_MADE_YOUNG,PAGES_MADE_YOUNG_RATE,
PAGES_MADE_NOT_YOUNG_RATE,NUMBER_PAGES_READ,NUMBER_PAGES_CREATED,NUMBER_PAGES_WRITTEN,PAGES_READ_RATE,
PAGES_CREATE_RATE,PAGES_WRITTEN_RATE,NUMBER_PAGES_GET,HIT_RATE,YOUNG_MAKE_PER_THOUSAND_GETS,
NOT_YOUNG_MAKE_PER_THOUSAND_GETS,NUMBER_PAGES_READ_AHEAD,NUMBER_READ_AHEAD_EVICTED,READ_AHEAD_RATE,
READ_AHEAD_EVICTED_RATE,LRU_IO_TOTAL,LRU_IO_CURRENT,UNCOMPRESS_TOTAL,UNCOMPRESS_CURRENT
...<csv data>...