Esta sección describe la forma de determinar tipos de errores en dispositivos, eliminar errores transitorios y reemplazar un dispositivo.
El término dispositivo dañado es bastante ambiguo y puede describir una serie de situaciones:
Deterioro de bits: con el tiempo, eventos aleatorios como campos magnéticos o rayos cósmicos pueden causar anomalías en los bits almacenados en el disco. Son eventos relativamente poco frecuentes, pero lo suficientemente habituales como para causar daños en datos de sistemas grandes o con procesos de larga duración.
Lecturas o escrituras de ubicaciones incorrectas: los errores de firmware o hardware pueden hacer que lecturas o escrituras de bloques enteros hagan referencia a ubicaciones incorrectas en el disco. Suelen ser errores transitorios, pero si se producen en grandes cantidades podrían denotar una unidad defectuosa.
Error de administrador: los administradores pueden sobrescribir inadvertidamente porciones del disco con datos dañados (por ejemplo, sobrescribir porciones de /dev/zero en el disco) que afectarán el disco de manera permanente. Estos errores siempre son transitorios.
Interrupción temporal del suministro de energía: durante un determinado periodo de tiempo, quizá no se pueda acceder a un disco, lo que puede provocar errores de E/S. Esta situación se suele asociar con dispositivos conectados a redes, aunque los discos locales también pueden sufrir interrupciones temporales de suministro de energía. Estos errores pueden ser transitorios o no.
Hardware dañado o inestable: esta situación constituye un cajón de sastre de todos los problemas que puede presentar un hardware defectuoso, entre los que se pueden citar errores persistentes de E/S y transportes defectuosos que causan errores aleatorios. Estos errores suelen ser permanentes.
Dispositivo sin conexión: si un dispositivo está sin conexión, se supone que el administrador le ha asignado este estado porque presenta algún problema. El administrador que asigna este estado al dispositivo puede establecer si dicha suposición es correcta.
El diagnóstico exacto de la naturaleza del problema puede resultar un proceso complicado. El primer paso es examinar la cantidad de errores en la salida de zpool status. Por ejemplo:
# zpool status -v tank pool: tank state: ONLINE status: One or more devices has experienced an error resulting in data corruption. Applications may be affected. action: Restore the file in question if possible. Otherwise restore the entire pool from backup. see: http://support.oracle.com/msg/ZFS-8000-8A config: NAME STATE READ WRITE CKSUM tank ONLINE 2 0 0 c8t0d0 ONLINE 0 0 0 c8t0d0 ONLINE 2 0 0 errors: Permanent errors have been detected in the following files: /tank/file.1
Los errores pueden ser de E/S o de suma de comprobación, y pueden denotar el posible tipo de defecto. El funcionamiento normal prevé muy pocos errores (solo unos pocos en periodos de tiempo prolongados). Si detecta una gran cantidad de errores, probablemente denote la inminencia de un error o la inutilización completa de un dispositivo. Pero un error de administrador también puede derivar en grandes cantidades de errores. La otra fuente de información es el log del sistema syslog. Si el log tiene una gran cantidad de mensajes de controlador de canal de fibra o SCSI, es probable que la situación sea sintomática de graves problemas de hardware. Si no se generan mensajes de syslog, es probable que los daños sean transitorios.
El objetivo es responder a la pregunta siguiente:
¿Es probable que este dispositivo vuelva a tener un error?
Los errores que suceden solo una vez se consideran transitorios y no denotan problemas potenciales. Los errores continuos o suficientemente graves como para indicar problemas potenciales en el hardware se consideran errores fatales. El hecho de determinar el tipo de error trasciende el ámbito de cualquier software automatizado que haya actualmente en ZFS, por lo cual eso es una tarea propia de los administradores. Una vez determinado el error, se puede llevar a cabo la acción pertinente. Suprima los errores transitorios o reemplace los dispositivos con errores fatales. Estos procedimientos de reparación se explican en las secciones siguientes.
Aun en caso de que los errores de dispositivos se consideren transitorios, se pueden haber generado errores incorregibles en los datos de la agrupación. Estos errores precisan procedimientos especiales de reparación, incluso si el dispositivo subyacente se considera que está en buen estado o se ha reparado. Para obtener más información sobre cómo reparar errores de datos, consulte Reparación de datos ZFS dañados.
Si los errores en dispositivos se consideran transitorios, en el sentido de que es poco probable que incidan más adelante en el buen estado del dispositivo, se pueden suprimir tranquilamente para indicar que no se ha producido ningún error fatal. Para suprimir los recuentos de errores de RAID-Z o dispositivos reflejados, utilice el comando zpool clear. Por ejemplo:
# zpool clear tank c1t1d0
Esta sintaxis suprime todos los errores de dispositivo y recuentos de errores de datos asociados con el dispositivo.
Utilice la sintaxis siguiente para suprimir todos los errores asociados con los dispositivos virtuales de una agrupación y para suprimir los recuentos de errores de datos asociados con la agrupación:
# zpool clear tank
Para obtener más información sobre la supresión de errores de dispositivos, consulte Borrado de errores de dispositivo de agrupación de almacenamiento.
Los errores transitorios de dispositivos se borran con toda probabilidad mediante el comando zpool clear. Si un dispositivo falla, consulte la siguiente sección sobre cómo reemplazar un dispositivo. Si un dispositivo se sobrescribe accidentalmente o tiene el estado UNAVAIL durante un largo periodo de tiempo, es posible que este error se deba resolver con el comando fmadm repaired, como se indica en la salida zpool status. Por ejemplo:
# zpool status -v pond pool: pond state: DEGRADED status: One or more devices are unavailable in response to persistent errors. Sufficient replicas exist for the pool to continue functioning in a degraded state. action: Determine if the device needs to be replaced, and clear the errors using 'zpool clear' or 'fmadm repaired', or replace the device with 'zpool replace'. scan: scrub repaired 0 in 0h0m with 0 errors on Wed Jun 20 15:38:08 2012 config: NAME STATE READ WRITE CKSUM pond DEGRADED 0 0 0 mirror-0 DEGRADED 0 0 0 c0t5000C500335F95E3d0 ONLINE 0 0 0 c0t5000C500335F907Fd0 UNAVAIL 0 0 0 mirror-1 ONLINE 0 0 0 c0t5000C500335BD117d0 ONLINE 0 0 0 c0t5000C500335DC60Fd0 ONLINE 0 0 0 device details: c0t5000C500335F907Fd0 UNAVAIL cannot open status: ZFS detected errors on this device. The device was missing. see: http://support.oracle.com/msg/ZFS-8000-LR for recovery errors: No known data errors
Si los daños en un dispositivo son permanentes o es posible que lo sean en el futuro, dicho dispositivo debe reemplazarse. El hecho de que el dispositivo pueda sustituirse o no depende de la configuración.
Si el dispositivo que se reemplazará forma parte de una configuración redundante, deben existir suficientes réplicas desde las que se puedan recuperar los datos en buen estado. Por ejemplo, si dos discos en un reflejo de cuatro vías tienen el estado UNAVAIL, se puede reemplazar cualquiera de ellos porque hay réplicas en buen estado. Sin embargo, si dos discos en un dispositivo virtual RAID-Z (raidz1) de cuatro vías tienen el estado UNAVAIL, ninguno de ellos se puede reemplazar porque no se dispone de suficientes réplicas desde las cuales recuperar los datos. Si el dispositivo está dañado pero tiene conexión, se puede reemplazar siempre que la agrupación no tenga el estado UNAVAIL. Sin embargo, cualquier dato dañado del dispositivo se copia al nuevo dispositivo a menos que haya suficientes réplicas con datos correctos.
En la configuración siguiente, el disco c1t1d0 se puede reemplazar y los datos de la agrupación se copian de la réplica en buen estado, c1t0d0.
mirror DEGRADED c1t0d0 ONLINE c1t1d0 UNAVAIL
El disco c1t0d0 también se puede reemplazar, aunque no es factible la recuperación automática de datos debido a la falta de réplicas en buen estado.
En la configuración siguiente, no se puede reemplazar ninguno de los discos UNAVAIL. Los discos ONLINE tampoco pueden reemplazarse porque la agrupación tiene el estado UNAVAIL.
raidz1 UNAVAIL c1t0d0 ONLINE c2t0d0 UNAVAIL c3t0d0 UNAVAIL c4t0d0 ONLINE
En la configuración siguiente, el disco de nivel superior tampoco se puede reemplazar, si bien en el disco nuevo se va a copiar cualquier dato dañado.
c1t0d0 ONLINE c1t1d0 ONLINE
Si cualquiera de los discos tiene el estado UNAVAIL, no se puede realizar ningún reemplazo porque la agrupación tiene el estado UNAVAIL.
Si la pérdida de un dispositivo hace que la agrupación tenga el estado UNAVAIL, o si el dispositivo contiene demasiados errores de datos en una configuración no redundante, el dispositivo no puede reemplazarse de forma segura. Si la redundancia es insuficiente, no es posible restaurar con datos en buen estado el dispositivo dañado. En este caso, la única posibilidad es destruir la agrupación, volver a crear la configuración y, a continuación, restaurar los datos desde una copia de seguridad.
Para obtener más información sobre cómo restaurar todo un grupo, consulte Reparación de daños en las agrupaciones de almacenamiento de ZFS.
Tras determinar que se puede reemplazar un dispositivo, utilice el comando zpool replace para reemplazarlo. Si va a reemplazar el dispositivo dañado con otro diferente, utilice sintaxis como ésta:
# zpool replace tank c1t1d0 c2t0d0
Este comando migra datos al dispositivo nuevo desde el dispositivo dañado, o de otros dispositivos de la agrupación si la configuración es redundante. Cuando finaliza el comando, desconecta el dispositivo dañado de la configuración. Es entonces cuando el dispositivo se puede eliminar del sistema. Si ya ha eliminado el dispositivo y lo ha reemplazado por uno nuevo en la misma ubicación, utilice la forma de un solo dispositivo del comando. Por ejemplo:
# zpool replace tank c1t1d0
Este comando selecciona un disco sin formato, le aplica el formato correspondiente y actualiza la duplicación de datos a partir del resto de la configuración.
Para obtener más información acerca del comando zpool replace, consulte Sustitución de dispositivos en un grupo de almacenamiento.
Ejemplo 10-1 Reemplazo de un disco SATA en una agrupación de almacenamiento ZFSEl siguiente ejemplo muestra cómo reemplazar un dispositivo (c1t3d0) en una agrupación de almacenamiento reflejada tank en un sistema con dispositivos SATA. Para reemplazar el disco c1t3d0 con un nuevo disco en la misma ubicación (c1t3d0), desconfigure el disco antes de intentar reemplazarlo. Si el disco que se debe reemplazar no es un disco SATA, consulte Sustitución de dispositivos en un grupo de almacenamiento.
Los pasos básicos son:
Desconectar el disco (c1t3d0) que se va a sustituir. No puede anular la configuración de un disco SATA en uso.
Utilizar el comando cfgadm para identificar el disco SATA (c1t3d0) cuya configuración se debe anular y llevar a cabo esta acción. La agrupación se degradará con el disco desconectado en esta configuración reflejada, pero la agrupación seguirá estando disponible.
Sustituir físicamente el disco (c1t3d0). Antes de eliminar físicamente la unidad UNAVAIL, asegúrese de que el LED azul Ready to Remove esté encendido.
Volver a configurar el disco SATA (c1t3d0).
Conectar el disco nuevo (c1t3d0).
Ejecutar el comando zpool replace para reemplazar el disco (c1t3d0).
Si un disco fallido se sustituye automáticamente por un repuesto en marcha, puede que deba desconectarlo después de dicha sustitución. Por ejemplo, si c2t4d0 es aún un repuesto en marcha activo después de sustituir el disco fallido, desconéctelo.
# zpool detach tank c2t4d0
Si FMA informa un dispositivo fallido, debe reparar las fallas del dispositivo.
# fmadm faulty # fmadm repaired zfs://pool=name/vdev=guid
El ejemplo siguiente detalla los pasos para reemplazar un disco en una agrupación de almacenamiento de ZFS.
# zpool offline tank c1t3d0 # cfgadm | grep c1t3d0 sata1/3::dsk/c1t3d0 disk connected configured ok # cfgadm -c unconfigure sata1/3 Unconfigure the device at: /devices/pci@0,0/pci1022,7458@2/pci11ab,11ab@1:3 This operation will suspend activity on the SATA device Continue (yes/no)? yes # cfgadm | grep sata1/3 sata1/3 disk connected unconfigured ok <Physically replace the failed disk c1t3d0> # cfgadm -c configure sata1/3 # cfgadm | grep sata1/3 sata1/3::dsk/c1t3d0 disk connected configured ok # zpool online tank c1t3d0 # zpool replace tank c1t3d0 # zpool status tank pool: tank state: ONLINE scrub: resilver completed after 0h0m with 0 errors on Tue Feb 2 13:17:32 2010 config: NAME STATE READ WRITE CKSUM tank ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 c0t1d0 ONLINE 0 0 0 c1t1d0 ONLINE 0 0 0 mirror-1 ONLINE 0 0 0 c0t2d0 ONLINE 0 0 0 c1t2d0 ONLINE 0 0 0 mirror-2 ONLINE 0 0 0 c0t3d0 ONLINE 0 0 0 c1t3d0 ONLINE 0 0 0 errors: No known data errors
Tenga en cuenta que el comando zpool output anterior podría mostrar tanto los discos nuevos como los antiguos en un encabezado replacing. Por ejemplo:
replacing DEGRADED 0 0 0 c1t3d0s0/o FAULTED 0 0 0 c1t3d0 ONLINE 0 0 0
Este texto indica que el proceso de sustitución está en curso y se está actualizando la duplicación de datos.
Si va a reemplazar un disco (c1t3d0) con otro (c4t3d0), solo tiene que ejecutar el comando zpool replace. Por ejemplo:
# zpool replace tank c1t3d0 c4t3d0 # zpool status pool: tank state: DEGRADED scrub: resilver completed after 0h0m with 0 errors on Tue Feb 2 13:35:41 2010 config: NAME STATE READ WRITE CKSUM tank DEGRADED 0 0 0 mirror-0 ONLINE 0 0 0 c0t1d0 ONLINE 0 0 0 c1t1d0 ONLINE 0 0 0 mirror-1 ONLINE 0 0 0 c0t2d0 ONLINE 0 0 0 c1t2d0 ONLINE 0 0 0 mirror-2 DEGRADED 0 0 0 c0t3d0 ONLINE 0 0 0 replacing DEGRADED 0 0 0 c1t3d0 OFFLINE 0 0 0 c4t3d0 ONLINE 0 0 0 errors: No known data errors
Es posible que deba ejecutar el comando zpool status varias veces hasta finalizar la sustitución del disco.
# zpool status tank pool: tank state: ONLINE scrub: resilver completed after 0h0m with 0 errors on Tue Feb 2 13:35:41 2010 config: NAME STATE READ WRITE CKSUM tank ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 c0t1d0 ONLINE 0 0 0 c1t1d0 ONLINE 0 0 0 mirror-1 ONLINE 0 0 0 c0t2d0 ONLINE 0 0 0 c1t2d0 ONLINE 0 0 0 mirror-2 ONLINE 0 0 0 c0t3d0 ONLINE 0 0 0 c4t3d0 ONLINE 0 0 0Ejemplo 10-2 Sustitución de un dispositivo de log que presenta errores
ZFS identifica errores del log de intentos en la salida del comando zpool status. Diagnosis de arquitectura de administración fallida (FMA) informa de dichos errores también. Ambos, ZFS y FMA, describen cómo recuperarse de un error de log de intentos.
El ejemplo siguiente muestra cómo recuperar un dispositivo de log (c0t5d0) que presenta errores en la agrupación de almacenamiento, (pool). Los pasos básicos son:
Consulte la salida de zpool status –x y el mensaje de diagnóstico de FMA que se describen en el error de lectura del log de intentos ZFS (ID de documento 1021625.1) en https://support.oracle.com/.
Reemplazar físicamente el dispositivo de log que presenta errores.
Conectar el dispositivo de log.
Borrar la condición de error de la agrupación.
Borrar el error de la FMA.
Por ejemplo, si el sistema se cierra bruscamente antes de que las operaciones de escritura sincrónica se confirmen en una agrupación con un dispositivo de log independiente, se muestran mensajes parecidos al siguiente:
# zpool status -x pool: pool state: FAULTED status: One or more of the intent logs could not be read. Waiting for adminstrator intervention to fix the faulted pool. action: Either restore the affected device(s) and run 'zpool online', or ignore the intent log records by running 'zpool clear'. scrub: none requested config: NAME STATE READ WRITE CKSUM pool FAULTED 0 0 0 bad intent log mirror-0 ONLINE 0 0 0 c0t1d0 ONLINE 0 0 0 c0t4d0 ONLINE 0 0 0 logs FAULTED 0 0 0 bad intent log c0t5d0 UNAVAIL 0 0 0 cannot open <Physically replace the failed log device> # zpool online pool c0t5d0 # zpool clear pool # fmadm faulty # fmadm repair zfs://pool=name/vdev=guid
Puede resolver el error del dispositivo de log como se indica a continuación:
Sustituya o recupere el dispositivo de log. En este ejemplo, el dispositivo de log es c0t5d0.
Vuelva a conectar el dispositivo de log.
# zpool online pool c0t5d0
Restablezca la condición de error del dispositivo de log que presenta errores.
# zpool clear pool
Si desea recuperarse de este error sin reemplazar el dispositivo de log que presenta errores, puede borrar el error con el comando zpool clear. En esta situación, la agrupación no funcionará correctamente y los logs se escribirán en la agrupación principal hasta que se sustituya el dispositivo de log independiente.
Considere el uso de dispositivos de log reflejados para evitar los casos de error en el dispositivo de log.
El proceso de reemplazar un dispositivo puede tardar una considerable cantidad de tiempo, según el tamaño del dispositivo y la cantidad de datos que haya en la agrupación. El proceso de transferir datos de un dispositivo a otro, denominado actualización de la duplicación de datos, se puede controlar mediante el comando zpool status.
Se proporcionan los siguientes mensajes de estado de reconstrucción de zpool status:
Informe de reconstrucción en curso. Por ejemplo:
scan: resilver in progress since Mon Jun 7 09:17:27 2010 13.3G scanned 13.3G resilvered at 18.5M/s, 82.34% done, 0h2m to go
Mensaje de reconstrucción finalizada. Por ejemplo:
resilvered 16.2G in 0h16m with 0 errors on Mon Jun 7 09:34:21 2010
Los mensajes de reconstrucción completada se mantienen entre reinicios del sistema.
Los sistemas de archivos tradicionales actualizan duplicaciones de datos en los bloques. Debido a que ZFS suprime la disposición artificial de capas de Volume Manager, puede ejecutar la actualización de duplicación de datos de manera más potente y controlada. Esta función presenta dos ventajas principales:
ZFS solo actualiza la duplicación de los datos necesarios. En caso de una breve interrupción del suministro (en contraposición a un reemplazo completo del dispositivo), la actualización de duplicación de datos del disco puede hacerse en cuestión de segundos. Si se reemplaza todo un disco, el tiempo que implica el proceso de actualización de duplicación de datos es proporcional a la cantidad de datos que se utilizan en disco. La sustitución de un disco de 500 GB puede ser cuestión de segundos si la agrupación solo tiene unos cuantos gigabytes de espacio usado en el disco.
Si el sistema se queda sin conexión o se reinicia, el proceso de actualización de duplicación de datos reanuda la tarea exactamente en el punto en que se había interrumpido, sin que haga falta hacer nada.
Para observar el progreso de la actualización de duplicación de datos, utilice el comando zpool status. Por ejemplo:
# zpool status tank pool: tank state: ONLINE status: One or more devices is currently being resilvered. The pool will continue to function, possibly in a degraded state. action: Wait for the resilver to complete. scan: resilver in progress since Mon Jun 7 10:49:20 2010 54.6M scanned54.5M resilvered at 5.46M/s, 24.64% done, 0h0m to go config: NAME STATE READ WRITE CKSUM tank ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 replacing-0 ONLINE 0 0 0 c1t0d0 ONLINE 0 0 0 c2t0d0 ONLINE 0 0 0 (resilvering) c1t1d0 ONLINE 0 0 0
En este ejemplo, el disco c1t0d0 se sustituye por c2t0d0. Este evento se refleja en la salida del estado mediante la presencia del dispositivo virtual que reemplaza en la configuración. Este dispositivo no es real ni sirve para crear una agrupación. La única finalidad de este dispositivo es mostrar el proceso de actualización de duplicación de datos e identificar el dispositivo que se va a reemplazar.
Cualquier agrupación sometida al proceso de actualización de duplicación de datos adquiere el estado ONLINE o DEGRADED, porque hasta que no haya finalizado dicho proceso es incapaz de proporcionar el nivel necesario de redundancia. La actualización de duplicación de datos se ejecuta lo más deprisa posible, si bien la E/S siempre se programa con una prioridad inferior a la E/S solicitada por el usuario, para que repercuta en el sistema lo menos posible. Tras finalizarse la actualización de duplicación de datos, la configuración asume los parámetros nuevos. Por ejemplo:
# zpool status tank pool: tank state: ONLINE scrub: resilver completed after 0h1m with 0 errors on Tue Feb 2 13:54:30 2010 config: NAME STATE READ WRITE CKSUM tank ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 c2t0d0 ONLINE 0 0 0 377M resilvered c1t1d0 ONLINE 0 0 0 errors: No known data errors
La agrupación pasa de nuevo al estado ONLINE y el disco dañado original (c1t0d0) desaparece de la configuración.