Este es un artículo traducido automáticamente. Haga clic aquí para ver la versión original en inglés.
Descripción
La verificación de estado de NCC pcvm_disk_usage_check verifica que la cantidad de uso de disco o partición del sistema en la máquina virtual Prism Central (PC) esté dentro de los límites.
Este cheque tiene las siguientes partes:
- Verificación del uso del disco de datos individual (agregado en NCC 3.5.1):
- Si el uso es superior al 75% durante varias horas, se devuelve una ADVERTENCIA para identificar el disco.
- Si el uso es superior al 90% durante varias horas, se devuelve un FALLO para identificar el disco.
- Verificación del uso general del disco de datos (agregado en NCC 3.10.1):
- Si el uso general es superior al 90% durante varias horas, se devuelve una ADVERTENCIA.
- Comprobación del uso de la partición raíz del sistema Prism Central VM (agregado en NCC 3.9.4). Devuelve solo un mensaje FAIL si el uso de la partición supera el 95%.
- Verificación del uso de la partición de inicio de Prism Central VM (agregada en NCC 3.9.4):
- Si el uso es superior al 75%, se devuelve una ADVERTENCIA.
- Si el uso es superior al 90%, se devuelve un FALLO.
- Verificación del uso de la partición CMSP de Prism Central VM (agregada en NCC 3.10.1):
- Si el uso es superior al 75%, se devuelve una ADVERTENCIA.
- Si el uso es superior al 90%, se devuelve un FALLO.
- Verificación del uso de la partición del disco de actualización de Prism Central VM (agregado en NCC 4.6.0):
- Si el uso es superior al 70%, se devuelve un FALLO.
- Esta verificación se ejecuta cada 5 minutos.
- Si hay más de 5 fallas (30 minutos), se genera una alerta crítica.
Nota : Si está ejecutando LCM-2.6 o LCM-2.6.0.1, la recopilación de registros de LCM llena el directorio /home, consulte KB-14671 para obtener una solución alternativa.
Ejecutando la verificación NCC
Ejecute la verificación de NCC como parte de las verificaciones de estado completas de NCC.
haga clic aquí para mostrar información detallada a continuación:
nutanix@pcvm$ ncc health_checks run_all
O ejecute la comprobación pcvm_disk_usage_check por separado.
nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check
También puede ejecutar las comprobaciones desde la página Estado de Prism Web Console: seleccione Acciones > Ejecutar comprobaciones . Seleccione Todas las comprobaciones y haga clic en Ejecutar .
Esta verificación está programada para ejecutarse cada 5 minutos de forma predeterminada.
Esta verificación generará una alerta después de 5 fallas consecutivas en intervalos programados.
Resultados de muestra
Para estado: PASA
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ PASS ] -------------------------------------------------------------------------------+ +---------------+ | State | Count | +---------------+ | Pass | 1 | | Total | 1 | +---------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Para estado: WARN (en el disco de datos de Prism Central VM, por ejemplo, /dev/sdc1)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx disk usage exceeds warning limit 75 % for disks: /dev/sdc1(/home/nutanix/data/stargate-storage/disks/NFS_2_0_283_5a853328_a7fa_45a4_b3d2_6f91cffaa653). Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Para estado: WARN (en Prism Central VM en general MultiVDisk)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx overall MultiVDisk usage exceeds warning limit of 2321329924 KB. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Para Estado: FAIL (en el disco de datos de Prism Central VM, por ejemplo, /dev/sdc1)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx disk usage exceeds critical limit 90 % for disks: /dev/sdc1(/home/nutanix/data/stargate-storage/disks/NFS_2_0_283_5a853328_a7fa_45a4_b3d2_6f91cffaa653). Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Para estado: FAIL (en la partición raíz, es decir, /)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: FAIL: PC VM root partition xxxx disk usage exceeds critical limit 95 % for disks: 97%. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------+ | State | Count | +-----------------+ | Fail | 1 | | Total | 1 | +-----------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Para estado: WARN (en la partición de inicio de Prism Central VM, es decir, /home)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx home partition disk usage exceeds warning limit 75 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Para estado: FAIL (en la partición de inicio de Prism Central VM, es decir, /home)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx home partition disk usage exceeds critical limit 90 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Para estado: WARN (en la partición CMSP de Prism Central VM, es decir, /dev/sde)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Platform disk space usage in Prism Central VM xxxx exceeds 75% for disk(s): /dev/sde Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list= xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Para estado: FAIL (en la partición CMSP de Prism Central VM, es decir, /dev/sde)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx : FAIL: Platform disk space usage in Prism Central VM xxxx exceeds 90% for disk(s): /dev/sde Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list= xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Para estado: FAIL (en la partición del disco de actualización de Prism Central VM, es decir, /home/nutanix/upgrade)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+Detailed information for pcvm_disk_usage_check: Node xxxx: FAIL: Prism Central VM xxxx upgrade disk usage exceeds critical limit 70 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Nota: Todos los comandos de este artículo que se ejecutarán en la PC suponen que inicia sesión en la máquina virtual de la PC a través de SSH.
Comprobación del uso del disco en la máquina virtual de la PC
A continuación se muestra un ejemplo de cómo verificar el uso del disco en una máquina virtual de PC.
haga clic aquí para mostrar el siguiente ejemplo:
nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on /dev/sdb1 9.8G 7.2G 2.2G 78% / devtmpfs 7.9G 0 7.9G 0% /dev tmpfs 7.9G 16K 7.9G 1% /dev/shm tmpfs 7.9G 428K 7.9G 1% /run tmpfs 7.9G 0 7.9G 0% /sys/fs/cgroup /dev/sdb3 40G 4.4G 35G 12% /home /dev/sdc1 493G 431G 57G 69% /home/nutanix/data/stargate-storage/disks/NFS_1_0_450_823394be_0c7b_4f18_8335_71bae1bc6c82 tmpfs 1.6G 0 1.6G 0% /run/user/1000
La partición para el disco de actualización se mostraría similar a:
/dev/sde 30G 26G 4.1G 87% /home/nutanix/upgrade
Mensajes de salida
Verificar identificación
|
101059 |
Descripción
|
Verifique que el uso de espacio en disco en Prism Central VM esté dentro de los límites. |
Causas del fracaso
|
Alto uso de disco en Prism Central VM. |
Resoluciones
|
Consulte KB 5228 para obtener más detalles. |
Impacto
|
Prism Central VM puede quedarse sin espacio de almacenamiento para almacenar datos. |
ID de alerta
|
A101059 |
Título de la alerta
|
Alto uso del disco de Prism Central VM |
Mensaje de alerta
|
El uso del disco IP de Prism Central VM excede el límite de advertencia x % para discos: discos .
El uso general de MultiVDisk de Prism Central VM IP excede el límite de advertencia de 2321329924 KB
El uso del disco IP de Prism Central VM excede el límite crítico x % para discos: discos . |
Verificar identificación
|
200316 |
Descripción
|
Comprueba si el uso de la partición raíz del sistema Prism Central está dentro del umbral para garantizar operaciones ininterrumpidas. |
Causas del fracaso
|
Aumento del uso de la partición raíz del sistema Prism Central VM debido a un registro excesivo o una operación de mantenimiento incompleta. |
Resoluciones
|
Reduzca el uso de la partición raíz del sistema Prism Central VM eliminando cualquier archivo temporal o innecesario conocido. Consulte KB 5228 para obtener más detalles. |
Impacto
|
Si la partición raíz del sistema Prism Central VM se utiliza mucho, ciertas operaciones de mantenimiento, como las actualizaciones, pueden verse afectadas. Si la partición raíz del sistema Prism Central VM se utiliza al 100%, los servicios pueden detenerse y afectar las funciones de administración del clúster de Prism Central. |
ID de alerta
|
A200316 |
Título de la alerta
|
Uso alto del espacio de partición raíz del sistema Prism Central VM
|
Mensaje de alerta
|
Uso de espacio en disco para la partición raíz ruta_montaje en la entidad : dirección_ip ha excedido el umbral %. |
Verificar identificación
|
200317 |
Descripción
|
Comprueba si el uso de la partición doméstica de Prism Central está dentro del umbral para garantizar operaciones ininterrumpidas. |
Causas del fracaso
|
Aumento del uso de la partición principal de Prism Central VM debido a un registro excesivo o una operación de mantenimiento incompleta. |
Resoluciones
|
Reduzca el uso de la partición de inicio de Prism Central VM eliminando cualquier archivo temporal o innecesario conocido. Consulte KB 5228 para obtener más detalles. |
Impacto
|
Si la partición de inicio de Prism Central VM se utiliza mucho, ciertas operaciones de mantenimiento, como las actualizaciones, pueden verse afectadas. Si la partición principal de Prism Central VM se utiliza al 100%, los servicios pueden detenerse y afectar la disponibilidad de almacenamiento del clúster. |
ID de alerta
|
A200317 |
Título de la alerta
|
Alto uso del disco de partición de inicio de Prism Central VM |
Mensaje de alerta
|
El uso del disco de la partición principal IP de Prism Central VM excede el límite de advertencia x %.
El uso del disco de la partición principal IP de Prism Central VM excede el límite crítico x %. |
Verificar identificación
|
200328 |
Descripción
|
Verifique que el uso de espacio en disco de la plataforma en Prism Central VM esté dentro de los límites. |
Causas del fracaso
|
Alto uso de disco en Prism Central VM. |
Resoluciones
|
Consulte KB 5228 para obtener más detalles. |
Impacto
|
Prism Central VM puede quedarse sin espacio de almacenamiento para almacenar datos. |
ID de alerta
|
A200328 |
Título de la alerta
|
Alto uso de espacio en disco de la plataforma Prism Central VM |
Título inteligente de alerta
|
Alto uso de espacio en disco de la plataforma svm_ip de Prism Central VM |
Mensaje de alerta
|
El uso de espacio en disco de la plataforma en Prism Central VM svm_ip excede el porcentaje_excedido % para los discos: disk_paths . |
Verificar identificación
|
200334 |
Descripción
|
Comprueba si el uso del disco de actualización de Prism Central está dentro del umbral para garantizar operaciones de actualización ininterrumpidas. |
Causas del fracaso
|
Aumento del uso del disco de actualización de Prism Central VM debido a la presencia de múltiples archivos del instalador de Prism Central |
Resoluciones
|
Reduzca el uso de la partición de actualización de Prism Central VM eliminando los archivos del instalador de Prism Central que no son necesarios. Consulte KB 5228 para obtener más detalles. |
Impacto
|
Si el disco de actualización de Prism Central VM se utiliza mucho, la actualización de Prism Central fallaría debido a la falta de espacio en el disco de actualización. |
ID de alerta
|
A200334 |
Título de la alerta
|
Uso del disco de actualización de Prism Central VM |
Mensaje de alerta
|
El uso del disco de actualización de Prism Central VM <IP> excede el límite crítico x% |
Escenarios que activan la verificación pcvm_disk_usage Advertencia/Fallo en la partición /home
haga clic aquí para mostrar información detallada en este paso:
escenario 1
El directorio /home en instancias de PC de larga duración puede alcanzar cerca de su límite máximo ya que el código Prism anterior no se limpia:
nutanix@pcvm$ cat ~/config/upgrade.history Thu, 17 Dec 2020 08:51:43 el7.3-release-euphrates-5.19-stable-b2ab98294375c3f24f4d813b83ffcb43d85ebcc1 Tue, 19 Jan 2021 11:53:43 el7.3-release-euphrates-5.19-stable-aadf03fd084cb00f0414f84549b7ebbe9691a984 Wed, 24 Feb 2021 08:53:13 el7.3-release-euphrates-5.19-stable-ddf5fcc232b693ae965280668b10d0337ce99281 Mon, 19 Apr 2021 07:03:39 el7.3-release-euphrates-5.19-stable-6d6cec7de63c8fd117eeb59162031d03c2faf548 Mon, 26 Apr 2021 07:00:07 el7.3-release-euphrates-5.19-stable-3927829dad6a930e67f2f4a47e752df5a8f6c64d Tue, 01 Jun 2021 10:15:14 el7.3-release-euphrates-5.19-stable-db974bded2c0cd1037288ca7aa9aef6f5e441222 Mon, 14 Jun 2021 09:47:29 el7.3-release-fraser-6.0-stable-a48467616ee7c603e3cee3174779cf24bea227cb Thu, 01 Jul 2021 11:52:24 el7.3-release-fraser-6.0-stable-0601c1f41bad35bf4afe05da443947d34927c6ae Thu, 05 Aug 2021 09:16:28 el7.3-release-fraser-6.0-stable-b9dbe4a0b0876cffa23d268d8ddc7f272fa4a166 Wed, 01 Sep 2021 07:44:46 el7.3-release-fraser-6.0-stable-f948d198de58b1b1e511431dbef0b34d20c82739 nutanix@pcvm$ sudo du -sh /home/apache/ www /console/el7.3-release-* 304M el7.3-release-euphrates-5.18.1.1-stable-4546d2908cb8495b316deb45de63b7f5e52541a1 541M el7.3-release-euphrates-5.18.1.2-stable-b1b096696c0c034570545912a00d39746e901f36 675M el7.3-release-euphrates-5.19.1.5-stable-0f9e00f661436fef1af18a094089744f34ccd8c0 1.1G el7.3-release-euphrates-5.19.1.6-stable-a1bbd4f054f86b9d445bf2153b93c5d8d920cff7 629M el7.3-release-euphrates-5.19.1-stable-6edca74801c9db2ff2003780084bb12aa6aa29f4 694M el7.3-release-euphrates-5.19.2-stable-8e7da6324cbe5c34564ec51615b10a7737c6782a 1.1G el7.3-release-euphrates-5.19-stable-5282152e02f3ede70f0957217a62dc436c60b454 329M el7.3-release-euphrates-5.20.1.1-stable-726ea8f7dc4bca156d3e3f63cd7982eecb70c8cb 2.1G el7.3-release-fraser-6.0.1.1-stable-d9f94c47b63e3eb4179dd7a6e16202d5856581a6
El problema se solucionó y solucionó en las versiones: pc.2022.1, pc.2022.4, pc.2021.9.0.5 y posteriores. Para obtener más detalles y la solución alternativa, consulte la sección de solución correspondiente.
Eliminación de registros de sysstats más antiguos
Si ha verificado todos los lugares habituales pero aún necesita limpiar espacio, puede obtener el permiso del cliente para eliminar registros de sysstats más antiguos. Verifique que no haya casos de soporte abiertos con RCA pendientes antes de continuar, ya que es posible que estos datos aún no se hayan recopilado.
nutanix@pcvm:~$ sudo du -h -d 1 /home/nutanix/data/logs | sort -h 4.0K /home/nutanix/data/logs/ecr 28K /home/nutanix/data/logs/work 5.5M /home/nutanix/data/logs/kafka 127M /home/nutanix/data/logs/cassandra 162M /home/nutanix/data/logs/data_providers 368M /home/nutanix/data/logs/ikat_access_logs 4.2G /home/nutanix/data/logs/sysstats 11G /home/nutanix/data/logs nutanix@pcvm:~$
Escenario 2
Los registros de Hyperkube (registros de kublet) no se limpian después de habilitar CMSP/microservicios en Prism Central.
Si Cluster Maintenance Utilities (CMU) se actualizó a la versión 2.0.3 usando LCM, a la versión Scavenger incluida le falta la capacidad de limpiar ciertos registros relacionados con los microservicios CMSP. Como resultado de este problema, los usuarios pueden encontrar que los servicios de Prism Central no se inician o que no pueden iniciar sesión en la interfaz de usuario de la PC. Este problema primero llenará el directorio /home/nutanix/data/sys-storage/NFS_.../ , después de lo cual los registros de kubelet comenzarán a llenar la partición raíz en la carpeta /tmp.
nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 34G 0 34G 0% /dev tmpfs 34G 52K 34G 1% /dev/shm tmpfs 34G 3.4M 34G 1% /run tmpfs 34G 0 34G 0% /sys/fs/cgroup /dev/sdb2 9.8G 9.8G 0G 100% / /dev/sdb3 50G 33G 16G 68% /home tmpfs 6.7G 0 6.7G 0% /run/user/1000 /dev/sdf1 2.5T 21G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977956_4f2835fa_ab29_41c5_9110_483bff268ca0 /dev/sdg1 2.5T 13G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977958_10aa3f76_65a5_4fa6_8c88_7c70a4504f29 /dev/sde1 2.5T 20G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977954_df3a5816_b14b_4098_9b58_d90d670781a1 /dev/sdc1 2.5T 12G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977948_1bd3cd0d_de69_4a98_a18d_6049945e261b /dev/sdd 98G 88G 5.4G 100% /home/nutanix/data/kafka/disks/NFS_6708977950_cd98c6f5_c534_486a_a939_4f40bffd986c
Es posible que encontremos que los registros hyperkube.ntnx * se generan y no se rotan correctamente cuando CMSP está habilitado. Compruebe si el directorio /home/nutanix/data/sys-storage/NFS.../kubelet/ está excesivamente lleno con estos registros.
nutanix@pcvm:~$ du -hsx /home/nutanix/data/sys-storage/NFS*/kubelet/ 97.0G /home/nutanix/data/sys-storage/NFS_6708977950_cd98c6f5_c534_486a_a939_4f40bffd986c/kubelet/ nutanix@pcvm:~$ ls -l /home/nutanix/data/sys-storage/NFS_4_0_7036_6578653c_8a38_4af8_9649_42e7939f3656/kubelet/kubelet* | wc -l 98
Cuando trabajamos según lo previsto, deberíamos ver menos de 10G utilizados en esta carpeta de kubelet, y el recuento de archivos para kubelet* sería inferior a ~15
Además, es posible que veamos registros de kubelet similares llenando espacio en /tmp, después de que se haya agotado el espacio en el directorio /home/nutanix/data/sys-storage/NFS....
nutanix@pcvm:~$ sudo du -hsx /tmp 2.8G /tmp nutanix@pcvm:~/tmp$ sudo ls -larth /tmp/ total 2.8G ***truncated*** -rw-r--r--. 1 root root 109K Jun 23 05:49 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-054920.15123 -rw-r--r--. 1 root root 1.4K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055012.17214 -rw-r--r--. 1 root root 114K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055011.17214 -rw-r--r--. 1 root root 1.4K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055038.18217 -rw-r--r--. 1 root root 114K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055038.18217 -rw-r--r--. 1 root root 109K Jun 23 05:51 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055106.19499 -rw-r--r--. 1 root root 1.8G Jun 24 03:20 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055151.21218 -rw-r--r--. 1 root root 60K Jun 24 15:06 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230623-055155.21218 -rw-r--r--. 1 root root 5.8M Jun 24 15:10 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055152.21218 -rw-r--r--. 1 root root 990M Jun 24 15:10 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230624-032057.21218 -rw-r--r--. 1 root root 103K Jun 24 23:59 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230624-235940.170513 -rw-r--r--. 1 root root 3.3K Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-000123.175052 -rw-r--r--. 1 root root 6.7K Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-000120.175052 -rw-r--r--. 1 root root 2.8M Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-000120.175052 lrwxrwxrwx. 1 root root 67 Jun 25 04:01 kubelet.INFO -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-040145.21556 lrwxrwxrwx. 1 root root 70 Jun 25 04:01 kubelet.WARNING -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-040145.21556 lrwxrwxrwx. 1 root root 68 Jun 25 04:01 kubelet.ERROR -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-040148.21556 -rw-r--r--. 1 root root 25K Jun 25 04:02 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-040148.21556 -rw-r--r--. 1 root root 38K Jun 25 04:04 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-040145.21556 -rw-r--r--. 1 root root 6.0M Jun 25 04:04 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-040145.21556 -rw-------. 1 nutanix nutanix 0 Jun 26 08:37 .nstat.u1000 -rw-r-----. 1 nutanix nutanix 0 Jun 26 08:38 lcm_metrics_uploader_lock -rw-------. 1 nutanix nutanix 0 Jun 26 08:43 lazan_pc_greenlet_stack_dump -rw-------. 1 nutanix nutanix 0 Jun 26 08:43 uhura_greenlet_stack_dump drwxr-xr-x. 19 root root 4.0K Jun 26 08:44 .. drwx------. 2 nutanix nutanix 4.0K Jun 26 09:24 hsperfdata_nutanix drwxrwxrwt. 14 root root 4.0K Jun 26 09:35 .
Escenario 3
A partir de PC.2022.6: se crea y monta un disco dedicado de 30 GB para las actualizaciones de PC. Este disco virtual se utilizará para descargar y extraer archivos binarios de actualización de actualizaciones consecutivas. Si el disco de actualización de Prism Central VM se utiliza mucho, la actualización de Prism Central fallaría debido a la falta de espacio en el disco de actualización.
nutanix@NTNX-PCVM:$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 13G 0 13G 0% /dev tmpfs 13G 40K 13G 1% /dev/shm tmpfs 13G 2.6M 13G 1% /run tmpfs 13G 0 13G 0% /sys/fs/cgroup /dev/sdb1 9.8G 7.2G 2.5G 75% / /dev/sdb3 50G 14G 36G 28% /home /dev/sde 30G 26G 4.1G 87% /home/nutanix/upgrade /dev/sdc1 492G 147M 486G 1% /home/nutanix/data/stargate-storage/disks/NFS_2_0_271_960db4d2_45e7_4ef7_92bd_bdcd7e0b6aaf tmpfs 2.6G 0 2.6G 0% /run/user/1000
Nota : En caso de que varios servicios estén habilitados en Prism Central, como msp, karbon, calm, flow y objetos, veremos que el uso de /home será alto ya que cada uno de los servicios generará varios registros y archivos de configuración. Los ingenieros de Nutanix trabajan constantemente para mejorar el uso doméstico. Si ninguno de los escenarios anteriores coincide y esto afecta la actualización de Prism Central, contrate al equipo de soporte de Nutanix para que le ayude a limpiar /home manualmente recortando los registros.
Escenario 4
Debido al problema de rotación del archivo de registro, el uso del directorio de registros de Adonis es alto. El uso de este directorio de registro no debe ser superior a 1G. Para implementaciones de Prism Central de escalamiento horizontal, verifique el uso de archivos en cada una de las máquinas virtuales de Prism Central:
nutanix@pcvm:~/data/logs$ sudo du -h /home/nutanix/adonis/logs 6.1G /home/nutanix/adonis/logs/access 19G /home/nutanix
Escenario 5
En ciertos casos, catalina.out puede consumir una gran cantidad de espacio en la máquina virtual Prism Central.
SSH a Prism Central y verifique si /home/nutanix/data/logs/catalina.out está consumiendo una gran cantidad de espacio:
nutanix@PCVM:~$ allssh du -h /home/nutanix/data/logs/catalina.out
Escenario 6
Para PC 2022.9 y superiores, se considera que el uso elevado de inodos en PCVM provoca un uso elevado de la partición raíz
SSH al prism central y ejecute los siguientes comandos para verificar el uso del inodo:
nutanix@PCVM:~$ allssh df -i /
Solución
Si la verificación informa un estado de ADVERTENCIA o FALLA, el uso del disco está por encima del umbral y necesita investigación. Generalmente, la utilización del espacio se puede consultar utilizando df -h . El siguiente resultado muestra los puntos de montaje de la siguiente manera:
- /dev/sdb1 es la partición raíz
- /dev/sdb3 es la partición de inicio
- /dev/sdc1 es la partición del disco de datos
nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 7.9G 0 7.9G 0% /dev tmpfs 7.9G 44K 7.9G 1% /dev/shm tmpfs 7.9G 6.1M 7.9G 1% /run tmpfs 7.9G 0 7.9G 0% /sys/fs/cgroup /dev/sdb1 9.8G 7.4G 2.3G 77% / /dev/sdb3 50G 8.5G 41G 18% /home /dev/sdc1 492G 150M 486G 1% /home/nutanix/data/stargate-storage/disks/NFS_2_0_267_5a298323_3c9f_4a6f_a265_10c4c1e6593e tmpfs 1.6G 0 1.6G 0% /run/user/1000 /dev/sde 98G 401M 93G 1% /home/nutanix/data/sys-storage/NFS_1_0_264_1f5cda9a_2b3f_4f49_b348_baeb0ae338b8 tmpfs 1.6G 0 1.6G 0% /run/user/0
Uso del disco de datos ( /dev/sdXX ) o uso general de discos múltiples :
Verifique que la cantidad de máquinas virtuales admitidas para el tamaño de Prism Central en particular esté dentro del límite (consulte la Guía de Prism Central para su versión en el Portal de soporte para conocer los límites). Póngase en contacto con el soporte técnico de Nutanix . Mientras abre un caso de soporte, adjunte el resultado de los siguientes comandos al caso.
nutanix@pcvm$ allssh df -h nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check
Partición de inicio de Prism Central VM ( /home ):
Inspeccione la salida de NCC para determinar qué VM de Prism Central tiene un uso elevado y luego realice lo siguiente:
- Inicie sesión en Prism Central VM.
- Utilice el comando cd para cambiar la ubicación a la partición /home.
- Enumere el contenido del directorio por tamaño usando el siguiente comando:
nutanix@pcvm$ ls -al | sort -k5,5nr
Examine el resultado en busca de archivos grandes no utilizados que puedan eliminarse.
- Ejecute el comando du a continuación para enumerar el uso de cada archivo y subdirectorio:
nutanix@pcvm$ sudo du -skxh * | sort -h
Examine la salida de subdirectorios grandes. Puede ejecutar el comando du para cada subdirectorio en cuestión para identificar aún más archivos grandes no utilizados que se pueden eliminar.
- A continuación se muestran algunos subdirectorios comunes de /home donde es probable que existan archivos grandes no utilizados:
- /home/nutanix/software_downloads/ : elimine cualquier versión anterior que no sea la versión que está actualizando actualmente.
- /home/nutanix/software_uncompressed/ : elimine cualquier versión anterior que no sea la versión que está actualizando actualmente.
- /home/nutanix/data/cores : elimina los rastros de pila antiguos que ya no son necesarios.
- /home/nutanix/data/log_collector/ - eliminar registros NCC antiguos con formato NCC-logs-2018-07-20-11111111111111-1032057545.tar.
- /home/nutanix/foundation/isos/ - ISO antiguos.
- /home/nutanix/foundation/tmp/ : archivos temporales que se pueden eliminar.
Si los pasos anteriores no resuelven el problema o si el problema coincide con uno de los escenarios presentados anteriormente en este artículo, siga los pasos de solución que se describen a continuación.
Partición del sistema raíz de Prism Central VM ( / ) o partición CMSP ( /dev/sdXX ):
Considere contratar el soporte de Nutanix . Reúna el resultado de los siguientes comandos y adjúntelo al caso de soporte:
nutanix@pcvm$ allssh df -h nutanix@pcvm$ sudo du -h --max-depth=1 / 2>/dev/null nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check
escenario 1
haga clic aquí para mostrar información detallada en este escenario:
El problema se solucionó y solucionó en las versiones: pc.2022.1, pc.2022.4, pc.2021.9.0.5 y posteriores.
Como solución alternativa, elimine los directorios que no tengan clústeres registrados con la versión correspondiente.
- Encuentre las versiones AOS de todos los PE registrados. Puede hacerlo desde Prism Central > Hardware > Clústeres > columna Versión de AOS.
- Enumere los directorios de la consola PE Apache en /home/apache/ www /console/
nutanix@pcvm$ sudo ls -lrth /home/apache/ www /console/el7.3-release-*
- Si hay algún directorio de la consola PE Apache que no corresponda a las versiones PE registradas, debería ser seguro limpiarlos.
Si necesita más ayuda con la limpieza, considere contratar el soporte de Nutanix . Reúna el resultado de los siguientes comandos y adjúntelo al caso de soporte:
nutanix@pcvm$ ncli cluster info nutanix@pcvm$ allssh df -h nutanix@pcvm$ sudo du -h --max-depth=1 /home/apache/ www 2>/dev/null nutanix@pcvm$ cat ~/config/upgrade.history nutanix@pcvm$ ls -lrth /home/apache/ www /console/el7.3-release-* nutanix@pcvm$ du -sh /home/apache/ www /console/el7.3-release-*
Eliminación de registros de sysstats más antiguos
Si ha verificado todos los lugares habituales pero aún necesita limpiar espacio, puede obtener el permiso del cliente para eliminar registros de sysstats más antiguos. Verifique que no haya casos de soporte abiertos con RCA pendientes antes de continuar, ya que es posible que estos datos aún no se hayan recopilado.
nutanix@PCVM:~$ sudo du -h -d 1 /home/nutanix/data/logs | sort -h 4.0K /home/nutanix/data/logs/ecr 28K /home/nutanix/data/logs/work 5.5M /home/nutanix/data/logs/kafka 127M /home/nutanix/data/logs/cassandra 162M /home/nutanix/data/logs/data_providers 368M /home/nutanix/data/logs/ikat_access_logs 4.2G /home/nutanix/data/logs/sysstats 11G /home/nutanix/data/logs nutanix@PCVM:~$
Puede utilizar el siguiente comando para eliminar registros de sysstats comprimidos con gzip anteriores a una fecha determinada. En el siguiente ejemplo, eliminará los registros de sysstats de todas las PCVM que tengan más de 3 días (o 4320 minutos).
nutanix@PCVM:~$ allssh "find ~/data/logs/sysstats -name '*.gz' -mmin +4320 -type f -exec rm '{}' +"
Escenario 2
Si su instancia de Prism Central coincide con este escenario, consulte KB-12707 Escenario #2 y abra un caso con el soporte de Nutanix para obtener ayuda para recuperarse del problema.
Escenario 3
haga clic aquí para mostrar información detallada en este escenario:
El aumento en el uso del disco de actualización de Prism Central VM se debe a múltiples archivos del instalador de Prism Central. Reduzca el uso de la partición de actualización de Prism Central VM eliminando los archivos del instalador de Prism Central que no son necesarios.
Esta partición /home/nutanix/upgrade está diseñada para contener archivos relacionados con la actualización. Por lo tanto, se puede eliminar cualquier otro archivo dentro de este directorio.
El uso de la partición como se indica en
df -h :
/dev/sde 30G 26G 4.1G 87%/home/nutanix/upgrade
Para comprobar el contenido del disco:
allssh "ls -latr /home/nutanix/upgrade/"
Para eliminar los archivos no deseados, utilice el siguiente comando:
rm -f /home/nutanix/upgrade/<file_to_be_removed>
Tenga en cuenta: si elimina accidentalmente la actualización de Prism Central en esta carpeta, inicie sesión en Prism Central a través de un navegador web, vaya a Configuración de Prism Central --> Actualizar Prism Central --> Haga clic en la "X" junto a la actualización del software y Vuelva a descargar el paquete.
Escenario 4
Nutanix es consciente del problema. La solución para este problema estará disponible en una futura versión para PC. Para solucionarlo, contacte con el soporte técnico de Nutanix .
Escenario 5
Si ve que el archivo de registro catalina.out consume mucho espacio, use el siguiente comando para reiniciar el servicio prisma en PCVM.
haga clic aquí para mostrar información detallada en este escenario:
nutanix@PCVM:~$ genesis stop prism; cluster start
En algunos casos raros, el archivo catalina.out no liberará espacio automáticamente después de que se dé la vuelta al líder del prisma. Para solucionar este problema, ponga a cero manualmente el archivo de registro catalina.out después de que el líder del prisma se dé la vuelta:
nutanix@PCVM:~$ echo "" > ~/data/logs/catalina.out
Para PCVM de instancia única, realice este cambio mientras el servicio de prisma está detenido y luego ejecute un inicio de clúster.
Escenario 6
Siga KB-6082 para borrar el uso de inodos.
Artículos relacionados