Questo è un articolo tradotto automaticamente, fai clic qui per visualizzare la versione originale in inglese.
Descrizione
Il controllo dello stato NCC pcvm_disk_usage_check verifica che la quantità di utilizzo del disco o della partizione di sistema nella VM Prism Central (PC) rientri nei limiti.
Questo controllo è composto dalle seguenti parti:
- Controllo dell'utilizzo del disco dati individuale (aggiunto in NCC 3.5.1):
- Se l'utilizzo supera il 75% per diverse ore, viene restituito un AVVISO per identificare il disco.
- Se l'utilizzo è superiore al 90% per diverse ore, viene restituito un FAIL per identificare il disco.
- Controllo dell'utilizzo complessivo del disco dati (aggiunto in NCC 3.10.1):
- Se l'utilizzo complessivo è superiore al 90% per diverse ore, viene restituito un AVVISO.
- Controllo dell'utilizzo della partizione root del sistema Prism Central VM (aggiunto in NCC 3.9.4). Restituisce solo il messaggio FAIL se l'utilizzo della partizione supera il 95%.
- Verifica dell'utilizzo della partizione home della VM Prism Central (aggiunto in NCC 3.9.4):
- Se l'utilizzo è superiore al 75%, viene restituito un AVVISO.
- Se l'utilizzo è superiore al 90%, viene restituito un FAIL.
- Controllo dell'utilizzo della partizione CMSP Prism Central VM (aggiunto in NCC 3.10.1):
- Se l'utilizzo è superiore al 75%, viene restituito un AVVISO.
- Se l'utilizzo è superiore al 90%, viene restituito un FAIL.
- Verifica dell'utilizzo della partizione del disco di Prism Central VM Upgrade (aggiunto in NCC 4.6.0):
- Se l'utilizzo è superiore al 70%, viene restituito un FAIL.
- Questo controllo viene eseguito ogni 5 minuti.
- Se si verificano più di 5 guasti (30 minuti), viene generato un avviso critico.
Nota : se si esegue LCM-2.6 o LCM-2.6.0.1, la raccolta dei registri LCM riempie la directory /home, fare riferimento a KB-14671 per una soluzione alternativa.
Esecuzione del controllo NCC
Esegui il controllo NCC come parte dei controlli sanitari NCC completi.
clicca qui per visualizzare informazioni dettagliate di seguito:
nutanix@pcvm$ ncc health_checks run_all
Oppure esegui il controllo pcvm_disk_usage_check separatamente.
nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check
È inoltre possibile eseguire i controlli dalla pagina Prism Web Console Health: selezionare Azioni > Esegui controlli . Selezionare Tutti i controlli e fare clic su Esegui .
Per impostazione predefinita, questo controllo viene eseguito ogni 5 minuti.
Questo controllo genererà un avviso dopo 5 errori consecutivi a intervalli pianificati.
Uscite di esempio
Per lo stato: PASSATO
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ PASS ] -------------------------------------------------------------------------------+ +---------------+ | State | Count | +---------------+ | Pass | 1 | | Total | 1 | +---------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Per lo stato: WARN (sul disco dati della VM Prism Central, ad esempio /dev/sdc1)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx disk usage exceeds warning limit 75 % for disks: /dev/sdc1(/home/nutanix/data/stargate-storage/disks/NFS_2_0_283_5a853328_a7fa_45a4_b3d2_6f91cffaa653). Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Per lo stato: WARN (su Prism Central VM nel complesso MultiVDisk)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx overall MultiVDisk usage exceeds warning limit of 2321329924 KB. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Per Stato: FAIL (sul disco dati della VM Prism Central, ad esempio /dev/sdc1)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx disk usage exceeds critical limit 90 % for disks: /dev/sdc1(/home/nutanix/data/stargate-storage/disks/NFS_2_0_283_5a853328_a7fa_45a4_b3d2_6f91cffaa653). Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Per Stato: FAIL (sulla partizione root, ovvero /)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: FAIL: PC VM root partition xxxx disk usage exceeds critical limit 95 % for disks: 97%. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------+ | State | Count | +-----------------+ | Fail | 1 | | Total | 1 | +-----------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Per Stato: WARN (sulla partizione home della VM Prism Central, ovvero /home)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx home partition disk usage exceeds warning limit 75 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Per Stato: FAIL (sulla partizione home della VM Prism Central, ovvero /home)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx home partition disk usage exceeds critical limit 90 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Per Stato: WARN (sulla partizione CMSP VM Prism Central, ovvero /dev/sde)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Platform disk space usage in Prism Central VM xxxx exceeds 75% for disk(s): /dev/sde Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list= xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Per Stato: FAIL (sulla partizione CMSP VM Prism Central, ovvero /dev/sde)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx : FAIL: Platform disk space usage in Prism Central VM xxxx exceeds 90% for disk(s): /dev/sde Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list= xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Per lo stato: FAIL (sulla partizione del disco di aggiornamento della VM Prism Central, ad esempio /home/nutanix/upgrade)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+Detailed information for pcvm_disk_usage_check: Node xxxx: FAIL: Prism Central VM xxxx upgrade disk usage exceeds critical limit 70 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Nota: tutti i comandi presenti in questo articolo da eseguire sul PC presuppongono l'accesso alla VM del PC tramite SSH.
Controllo dell'utilizzo del disco nella macchina virtuale del PC
Di seguito è riportato un esempio di come verificare l'utilizzo del disco su una macchina virtuale PC.
clicca qui per visualizzare l'esempio seguente:
nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on /dev/sdb1 9.8G 7.2G 2.2G 78% / devtmpfs 7.9G 0 7.9G 0% /dev tmpfs 7.9G 16K 7.9G 1% /dev/shm tmpfs 7.9G 428K 7.9G 1% /run tmpfs 7.9G 0 7.9G 0% /sys/fs/cgroup /dev/sdb3 40G 4.4G 35G 12% /home /dev/sdc1 493G 431G 57G 69% /home/nutanix/data/stargate-storage/disks/NFS_1_0_450_823394be_0c7b_4f18_8335_71bae1bc6c82 tmpfs 1.6G 0 1.6G 0% /run/user/1000
La partizione per il disco di aggiornamento verrebbe visualizzata in modo simile a:
/dev/sde 30G 26G 4.1G 87% /home/nutanix/upgrade
Messaggistica in uscita
Controlla l'identità
|
101059 |
Descrizione
|
Verificare che l'utilizzo dello spazio su disco sulla VM Prism Central sia entro i limiti. |
Cause di fallimento
|
Utilizzo elevato del disco nella VM Prism Central. |
Risoluzioni
|
Fare riferimento a KB 5228 per ulteriori dettagli. |
Impatto
|
Prism Central VM potrebbe esaurire lo spazio di archiviazione per archiviare i dati. |
ID avviso
|
A101059 |
Titolo dell'avviso
|
Utilizzo elevato del disco della VM Prism Central |
Messaggio di avviso
|
L'utilizzo del disco IP di Prism Central VM supera il limite di avviso x % per i dischi: disks .
L'utilizzo complessivo di MultiVDisk IP di Prism Central VM supera il limite di avviso di 2321329924 KB
L'utilizzo del disco IP di Prism Central VM supera il limite critico x % per i dischi: dischi . |
Controlla l'identità
|
200316 |
Descrizione
|
Controlla se l'utilizzo della partizione root del sistema Prism Central rientra nella soglia per garantire operazioni ininterrotte. |
Cause di fallimento
|
Aumento dell'utilizzo della partizione root del sistema Prism Central VM a causa di una registrazione eccessiva o di operazioni di manutenzione incomplete. |
Risoluzioni
|
Riduci l'utilizzo della partizione root del sistema Prism Central VM rimuovendo eventuali file temporanei noti o non necessari. Fare riferimento a KB 5228 per ulteriori dettagli. |
Impatto
|
Se la partizione root del sistema Prism Central VM è molto utilizzata, alcune operazioni di manutenzione, come gli aggiornamenti, potrebbero risentirne. Se la partizione root del sistema Prism Central VM viene utilizzata al 100%, i servizi potrebbero interrompersi e influire sulle funzioni di gestione del cluster Prism Central. |
ID avviso
|
A200316 |
Titolo dell'avviso
|
Utilizzo dello spazio della partizione root del sistema Prism Central VM Alto
|
Messaggio di avviso
|
L'utilizzo dello spazio su disco per la partizione root mount_path sull'entità - indirizzo_ip ha superato la soglia %. |
Controlla l'identità
|
200317 |
Descrizione
|
Controlla se l'utilizzo della partizione home di Prism Central rientra nella soglia per garantire operazioni ininterrotte. |
Cause di fallimento
|
Aumento dell'utilizzo della partizione home della VM Prism Central a causa di una registrazione eccessiva o di operazioni di manutenzione incomplete. |
Risoluzioni
|
Riduci l'utilizzo della partizione home della VM Prism Central rimuovendo eventuali file temporanei noti o non necessari. Fare riferimento a KB 5228 per ulteriori dettagli. |
Impatto
|
Se la partizione home della VM Prism Central è molto utilizzata, alcune operazioni di manutenzione, come gli aggiornamenti, potrebbero risentirne. Se la partizione home della VM Prism Central viene utilizzata al 100%, i servizi potrebbero interrompersi e influire sulla disponibilità dell'archiviazione del cluster. |
ID avviso
|
A200317 |
Titolo dell'avviso
|
Utilizzo elevato del disco della partizione home della VM Prism Central |
Messaggio di avviso
|
L'utilizzo del disco della partizione home IP di Prism Central VM supera il limite di avviso del x %.
L'utilizzo del disco della partizione home IP di Prism Central VM supera il limite critico del x %. |
Controlla l'identità
|
200328 |
Descrizione
|
Verificare che l'utilizzo dello spazio su disco della piattaforma sulla VM Prism Central sia entro i limiti. |
Cause di fallimento
|
Utilizzo elevato del disco nella VM Prism Central. |
Risoluzioni
|
Fare riferimento a KB 5228 per ulteriori dettagli. |
Impatto
|
Prism Central VM potrebbe esaurire lo spazio di archiviazione per archiviare i dati. |
ID avviso
|
A200328 |
Titolo dell'avviso
|
Utilizzo elevato dello spazio su disco della piattaforma Prism Central VM |
Avviso titolo intelligente
|
Utilizzo dello spazio su disco della piattaforma Prism Central VM svm_ip elevato |
Messaggio di avviso
|
L'utilizzo dello spazio su disco della piattaforma nella VM Prism Central svm_ip supera percent_exceed % per i dischi: disk_paths . |
Controlla l'identità
|
200334 |
Descrizione
|
Controlla se l'utilizzo del disco di aggiornamento di Prism Central rientra nella soglia per garantire operazioni di aggiornamento ininterrotte. |
Cause di fallimento
|
Aumento dell'utilizzo del disco di aggiornamento della VM Prism Central a causa della presenza di più file di installazione di Prism Central |
Risoluzioni
|
Ridurre l'utilizzo della partizione di aggiornamento della VM Prism Central rimuovendo i file del programma di installazione di Prism Central che non sono necessari. Fare riferimento a KB 5228 per ulteriori dettagli. |
Impatto
|
Se il disco di aggiornamento della VM Prism Central è molto utilizzato, l'aggiornamento di Prism Central fallirebbe a causa della mancanza di spazio nel disco di aggiornamento. |
ID avviso
|
A200334 |
Titolo dell'avviso
|
Utilizzo del disco di aggiornamento della VM Prism Central |
Messaggio di avviso
|
L'utilizzo del disco di aggiornamento di Prism Central VM <IP> supera il limite critico x% |
Scenari che attivano il controllo Avvisa/Fail di pcvm_disk_usage sulla partizione /home
clicca qui per visualizzare informazioni dettagliate in questo passaggio:
scenario 1
La directory /home sulle istanze PC di lunga durata potrebbe raggiungere quasi il limite massimo poiché il codice Prism precedente non viene ripulito:
nutanix@pcvm$ cat ~/config/upgrade.history Thu, 17 Dec 2020 08:51:43 el7.3-release-euphrates-5.19-stable-b2ab98294375c3f24f4d813b83ffcb43d85ebcc1 Tue, 19 Jan 2021 11:53:43 el7.3-release-euphrates-5.19-stable-aadf03fd084cb00f0414f84549b7ebbe9691a984 Wed, 24 Feb 2021 08:53:13 el7.3-release-euphrates-5.19-stable-ddf5fcc232b693ae965280668b10d0337ce99281 Mon, 19 Apr 2021 07:03:39 el7.3-release-euphrates-5.19-stable-6d6cec7de63c8fd117eeb59162031d03c2faf548 Mon, 26 Apr 2021 07:00:07 el7.3-release-euphrates-5.19-stable-3927829dad6a930e67f2f4a47e752df5a8f6c64d Tue, 01 Jun 2021 10:15:14 el7.3-release-euphrates-5.19-stable-db974bded2c0cd1037288ca7aa9aef6f5e441222 Mon, 14 Jun 2021 09:47:29 el7.3-release-fraser-6.0-stable-a48467616ee7c603e3cee3174779cf24bea227cb Thu, 01 Jul 2021 11:52:24 el7.3-release-fraser-6.0-stable-0601c1f41bad35bf4afe05da443947d34927c6ae Thu, 05 Aug 2021 09:16:28 el7.3-release-fraser-6.0-stable-b9dbe4a0b0876cffa23d268d8ddc7f272fa4a166 Wed, 01 Sep 2021 07:44:46 el7.3-release-fraser-6.0-stable-f948d198de58b1b1e511431dbef0b34d20c82739 nutanix@pcvm$ sudo du -sh /home/apache/ www /console/el7.3-release-* 304M el7.3-release-euphrates-5.18.1.1-stable-4546d2908cb8495b316deb45de63b7f5e52541a1 541M el7.3-release-euphrates-5.18.1.2-stable-b1b096696c0c034570545912a00d39746e901f36 675M el7.3-release-euphrates-5.19.1.5-stable-0f9e00f661436fef1af18a094089744f34ccd8c0 1.1G el7.3-release-euphrates-5.19.1.6-stable-a1bbd4f054f86b9d445bf2153b93c5d8d920cff7 629M el7.3-release-euphrates-5.19.1-stable-6edca74801c9db2ff2003780084bb12aa6aa29f4 694M el7.3-release-euphrates-5.19.2-stable-8e7da6324cbe5c34564ec51615b10a7737c6782a 1.1G el7.3-release-euphrates-5.19-stable-5282152e02f3ede70f0957217a62dc436c60b454 329M el7.3-release-euphrates-5.20.1.1-stable-726ea8f7dc4bca156d3e3f63cd7982eecb70c8cb 2.1G el7.3-release-fraser-6.0.1.1-stable-d9f94c47b63e3eb4179dd7a6e16202d5856581a6
Il problema è stato risolto e risolto nelle versioni: pc.2022.1, pc.2022.4, pc.2021.9.0.5 e successive. Per ulteriori dettagli e la soluzione alternativa, fare riferimento alla sezione della soluzione corrispondente.
Rimozione dei registri sysstats più vecchi
Se hai controllato tutti i soliti posti ma hai ancora bisogno di liberare spazio, puoi ottenere l'autorizzazione del cliente per rimuovere i registri sysstats più vecchi. Prima di procedere, verifica che non vi siano casi di supporto aperti con RCA in sospeso, poiché questi dati potrebbero non essere ancora stati raccolti.
nutanix@pcvm:~$ sudo du -h -d 1 /home/nutanix/data/logs | sort -h 4.0K /home/nutanix/data/logs/ecr 28K /home/nutanix/data/logs/work 5.5M /home/nutanix/data/logs/kafka 127M /home/nutanix/data/logs/cassandra 162M /home/nutanix/data/logs/data_providers 368M /home/nutanix/data/logs/ikat_access_logs 4.2G /home/nutanix/data/logs/sysstats 11G /home/nutanix/data/logs nutanix@pcvm:~$
Scenario 2
I log Hyperkube (log kublet) non vengono ripuliti dopo aver abilitato CMSP/microservizi su Prism Central.
Se Cluster Maintenance Utilities (CMU) è stato aggiornato alla versione 2.0.3 utilizzando LCM, la versione Scavenger inclusa non ha la capacità di pulire alcuni log relativi ai microservizi CMSP. Come risultato di questo problema, gli utenti potrebbero scoprire che i servizi Prism Central non si avviano o che non riescono ad accedere all'interfaccia utente del PC. Questo problema riempirà innanzitutto la directory /home/nutanix/data/sys-storage/NFS_.../ , dopodiché i log kubelet inizieranno a riempire la partizione root nella cartella /tmp.
nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 34G 0 34G 0% /dev tmpfs 34G 52K 34G 1% /dev/shm tmpfs 34G 3.4M 34G 1% /run tmpfs 34G 0 34G 0% /sys/fs/cgroup /dev/sdb2 9.8G 9.8G 0G 100% / /dev/sdb3 50G 33G 16G 68% /home tmpfs 6.7G 0 6.7G 0% /run/user/1000 /dev/sdf1 2.5T 21G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977956_4f2835fa_ab29_41c5_9110_483bff268ca0 /dev/sdg1 2.5T 13G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977958_10aa3f76_65a5_4fa6_8c88_7c70a4504f29 /dev/sde1 2.5T 20G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977954_df3a5816_b14b_4098_9b58_d90d670781a1 /dev/sdc1 2.5T 12G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977948_1bd3cd0d_de69_4a98_a18d_6049945e261b /dev/sdd 98G 88G 5.4G 100% /home/nutanix/data/kafka/disks/NFS_6708977950_cd98c6f5_c534_486a_a939_4f40bffd986c
Potremmo riscontrare che i log hyperkube.ntnx * vengono generati e non ruotati correttamente quando CMSP è abilitato. Controlla se la directory /home/nutanix/data/sys-storage/NFS.../kubelet/ è eccessivamente piena di questi log.
nutanix@pcvm:~$ du -hsx /home/nutanix/data/sys-storage/NFS*/kubelet/ 97.0G /home/nutanix/data/sys-storage/NFS_6708977950_cd98c6f5_c534_486a_a939_4f40bffd986c/kubelet/ nutanix@pcvm:~$ ls -l /home/nutanix/data/sys-storage/NFS_4_0_7036_6578653c_8a38_4af8_9649_42e7939f3656/kubelet/kubelet* | wc -l 98
Se funziona come previsto, dovremmo vedere meno di 10G utilizzati in questa cartella kubelet e il conteggio dei file per kubelet* sarebbe inferiore a ~15
Potremmo inoltre vedere log kubelet simili riempire lo spazio in /tmp, dopo che lo spazio nella directory /home/nutanix/data/sys-storage/NFS... è stato esaurito.
nutanix@pcvm:~$ sudo du -hsx /tmp 2.8G /tmp nutanix@pcvm:~/tmp$ sudo ls -larth /tmp/ total 2.8G ***truncated*** -rw-r--r--. 1 root root 109K Jun 23 05:49 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-054920.15123 -rw-r--r--. 1 root root 1.4K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055012.17214 -rw-r--r--. 1 root root 114K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055011.17214 -rw-r--r--. 1 root root 1.4K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055038.18217 -rw-r--r--. 1 root root 114K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055038.18217 -rw-r--r--. 1 root root 109K Jun 23 05:51 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055106.19499 -rw-r--r--. 1 root root 1.8G Jun 24 03:20 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055151.21218 -rw-r--r--. 1 root root 60K Jun 24 15:06 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230623-055155.21218 -rw-r--r--. 1 root root 5.8M Jun 24 15:10 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055152.21218 -rw-r--r--. 1 root root 990M Jun 24 15:10 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230624-032057.21218 -rw-r--r--. 1 root root 103K Jun 24 23:59 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230624-235940.170513 -rw-r--r--. 1 root root 3.3K Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-000123.175052 -rw-r--r--. 1 root root 6.7K Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-000120.175052 -rw-r--r--. 1 root root 2.8M Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-000120.175052 lrwxrwxrwx. 1 root root 67 Jun 25 04:01 kubelet.INFO -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-040145.21556 lrwxrwxrwx. 1 root root 70 Jun 25 04:01 kubelet.WARNING -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-040145.21556 lrwxrwxrwx. 1 root root 68 Jun 25 04:01 kubelet.ERROR -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-040148.21556 -rw-r--r--. 1 root root 25K Jun 25 04:02 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-040148.21556 -rw-r--r--. 1 root root 38K Jun 25 04:04 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-040145.21556 -rw-r--r--. 1 root root 6.0M Jun 25 04:04 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-040145.21556 -rw-------. 1 nutanix nutanix 0 Jun 26 08:37 .nstat.u1000 -rw-r-----. 1 nutanix nutanix 0 Jun 26 08:38 lcm_metrics_uploader_lock -rw-------. 1 nutanix nutanix 0 Jun 26 08:43 lazan_pc_greenlet_stack_dump -rw-------. 1 nutanix nutanix 0 Jun 26 08:43 uhura_greenlet_stack_dump drwxr-xr-x. 19 root root 4.0K Jun 26 08:44 .. drwx------. 2 nutanix nutanix 4.0K Jun 26 09:24 hsperfdata_nutanix drwxrwxrwt. 14 root root 4.0K Jun 26 09:35 .
Scenario 3
A partire da PC.2022.6: viene creato e montato un disco dedicato da 30 GB per gli aggiornamenti del PC. Questo Vdisk verrà utilizzato per scaricare ed estrarre i file binari di aggiornamento da aggiornamenti consecutivi. Se il disco di aggiornamento della VM Prism Central è molto utilizzato, l'aggiornamento di Prism Central fallirebbe a causa della mancanza di spazio nel disco di aggiornamento.
nutanix@NTNX-PCVM:$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 13G 0 13G 0% /dev tmpfs 13G 40K 13G 1% /dev/shm tmpfs 13G 2.6M 13G 1% /run tmpfs 13G 0 13G 0% /sys/fs/cgroup /dev/sdb1 9.8G 7.2G 2.5G 75% / /dev/sdb3 50G 14G 36G 28% /home /dev/sde 30G 26G 4.1G 87% /home/nutanix/upgrade /dev/sdc1 492G 147M 486G 1% /home/nutanix/data/stargate-storage/disks/NFS_2_0_271_960db4d2_45e7_4ef7_92bd_bdcd7e0b6aaf tmpfs 2.6G 0 2.6G 0% /run/user/1000
Nota : nel caso in cui su Prism Central siano abilitati diversi servizi, come msp, karbon, calm, flow e object, vedremmo un utilizzo elevato di /home poiché ciascuno dei servizi genererà diversi log e file di configurazione. Gli ingegneri Nutanix lavorano costantemente per migliorare l'utilizzo di /home. Se nessuno degli scenari precedenti corrisponde e ciò influisce sull'aggiornamento di Prism Central, coinvolgi il team di supporto Nutanix per aiutarti a pulire manualmente /home eliminando i log.
Scenario 4
A causa del problema di rotazione dei file di registro, l'utilizzo della directory dei registri di Adonis è elevato. L'utilizzo della directory di registro non deve essere superiore a 1G. Per le distribuzioni scale-out di Prism Central, controlla l'utilizzo dei file su ciascuna delle VM Prism Central:
nutanix@pcvm:~/data/logs$ sudo du -h /home/nutanix/adonis/logs 6.1G /home/nutanix/adonis/logs/access 19G /home/nutanix
Scenario 5
In alcuni casi, catalina.out potrebbe consumare una grande quantità di spazio sulla VM Prism Central.
SSH a Prism Central e controlla se /home/nutanix/data/logs/catalina.out sta consumando un'enorme quantità di spazio:
nutanix@PCVM:~$ allssh du -h /home/nutanix/data/logs/catalina.out
Scenario 6
Per PC 2022.9 e versioni successive, si ritiene che un utilizzo elevato di inode nel PCVM causi un utilizzo elevato della partizione root
SSH al prism central ed esegui i seguenti comandi per verificare l'utilizzo dell'inode:
nutanix@PCVM:~$ allssh df -i /
Soluzione
Se il controllo segnala uno stato WARN o FAIL, l'utilizzo del disco è superiore alla soglia e necessita di un'indagine. In genere, l'utilizzo dello spazio può essere interrogato utilizzando df -h . L'output seguente mostra i punti di montaggio come segue:
- /dev/sdb1 è la partizione root
- /dev/sdb3 è la partizione home
- /dev/sdc1 è la partizione del disco dati
nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 7.9G 0 7.9G 0% /dev tmpfs 7.9G 44K 7.9G 1% /dev/shm tmpfs 7.9G 6.1M 7.9G 1% /run tmpfs 7.9G 0 7.9G 0% /sys/fs/cgroup /dev/sdb1 9.8G 7.4G 2.3G 77% / /dev/sdb3 50G 8.5G 41G 18% /home /dev/sdc1 492G 150M 486G 1% /home/nutanix/data/stargate-storage/disks/NFS_2_0_267_5a298323_3c9f_4a6f_a265_10c4c1e6593e tmpfs 1.6G 0 1.6G 0% /run/user/1000 /dev/sde 98G 401M 93G 1% /home/nutanix/data/sys-storage/NFS_1_0_264_1f5cda9a_2b3f_4f49_b348_baeb0ae338b8 tmpfs 1.6G 0 1.6G 0% /run/user/0
Utilizzo del disco dati ( /dev/sdXX ) o utilizzo complessivo di più dischi :
Verificare che il numero di VM supportate per la particolare dimensione di Prism Central rientri nel limite (consultare la Guida di Prism Central per la propria versione dal Portale di supporto per i limiti). Contatta il supporto Nutanix . Durante l'apertura di un caso di supporto, allega l'output dei seguenti comandi al caso.
nutanix@pcvm$ allssh df -h nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check
Partizione home della VM Prism Central ( /home ):
Ispezionare l'output NCC per determinare quale VM Prism Central ha un utilizzo elevato, quindi eseguire quanto segue:
- Accedi a Prism Central VM.
- Utilizzare il comando cd per modificare la posizione della partizione /home.
- Elenca il contenuto della directory per dimensione utilizzando il comando seguente:
nutanix@pcvm$ ls -al | sort -k5,5nr
Esaminare l'output per eventuali file di grandi dimensioni inutilizzati che possono essere eliminati.
- Esegui il comando du di seguito per elencare l'utilizzo di ciascun file e sottodirectory:
nutanix@pcvm$ sudo du -skxh * | sort -h
Esaminare l'output di sottodirectory di grandi dimensioni. È possibile eseguire il comando du per ciascuna sottodirectory in questione per identificare ulteriormente i file di grandi dimensioni inutilizzati che possono essere eliminati.
- Di seguito sono riportate alcune sottodirectory comuni di /home in cui è probabile che esistano file di grandi dimensioni inutilizzati:
- /home/nutanix/software_downloads/ - elimina eventuali versioni precedenti diverse da quelle che stai attualmente aggiornando.
- /home/nutanix/software_uncompressed/ - elimina eventuali versioni precedenti diverse da quelle che stai attualmente aggiornando.
- /home/nutanix/data/cores : elimina le vecchie tracce di stack che non sono più necessarie.
- /home/nutanix/data/log_collector/ - elimina i vecchi registri NCC con il formato NCC-logs-2018-07-20-11111111111111-1032057545.tar.
- /home/nutanix/foundation/isos/ - vecchi ISO.
- /home/nutanix/foundation/tmp/ - file temporanei che possono essere eliminati.
Se i passaggi precedenti non risolvono il problema o se il problema corrisponde a uno degli scenari presentati in precedenza in questo articolo, seguire i passaggi della soluzione descritti di seguito.
Partizione del sistema root VM Prism Central ( / ) o partizione CMSP ( /dev/sdXX ):
Valuta la possibilità di coinvolgere il supporto Nutanix . Raccogli l'output dei comandi seguenti e allegalo al caso di supporto:
nutanix@pcvm$ allssh df -h nutanix@pcvm$ sudo du -h --max-depth=1 / 2>/dev/null nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check
scenario 1
clicca qui per visualizzare informazioni dettagliate in questo scenario:
Il problema è stato risolto e risolto nelle versioni: pc.2022.1, pc.2022.4, pc.2021.9.0.5 e successive.
Come soluzione alternativa, rimuovere le directory che non dispongono di cluster registrati con la versione corrispondente.
- Trova le versioni AOS di tutti i PE registrati. Puoi farlo da Prism Central > Hardware > Cluster > colonna Versione AOS.
- Elenca le directory della console Apache PE in /home/apache/ www /console/
nutanix@pcvm$ sudo ls -lrth /home/apache/ www /console/el7.3-release-*
- Se sono presenti directory della console Apache PE che non corrispondono alle versioni PE registrate, dovrebbe essere sicuro pulirle.
Se hai bisogno di ulteriore assistenza con la pulizia, valuta la possibilità di rivolgerti al supporto Nutanix . Raccogli l'output dei comandi seguenti e allegalo al caso di supporto:
nutanix@pcvm$ ncli cluster info nutanix@pcvm$ allssh df -h nutanix@pcvm$ sudo du -h --max-depth=1 /home/apache/ www 2>/dev/null nutanix@pcvm$ cat ~/config/upgrade.history nutanix@pcvm$ ls -lrth /home/apache/ www /console/el7.3-release-* nutanix@pcvm$ du -sh /home/apache/ www /console/el7.3-release-*
Rimozione dei registri sysstats più vecchi
Se hai effettuato il check-in in tutti i soliti posti ma hai ancora bisogno di liberare spazio, puoi ottenere il permesso del cliente per rimuovere i registri sysstats più vecchi. Prima di procedere, verifica che non vi siano casi di supporto aperti con RCA in sospeso, poiché questi dati potrebbero non essere ancora stati raccolti.
nutanix@PCVM:~$ sudo du -h -d 1 /home/nutanix/data/logs | sort -h 4.0K /home/nutanix/data/logs/ecr 28K /home/nutanix/data/logs/work 5.5M /home/nutanix/data/logs/kafka 127M /home/nutanix/data/logs/cassandra 162M /home/nutanix/data/logs/data_providers 368M /home/nutanix/data/logs/ikat_access_logs 4.2G /home/nutanix/data/logs/sysstats 11G /home/nutanix/data/logs nutanix@PCVM:~$
È possibile utilizzare il comando seguente per rimuovere i registri sysstats compressi con gzip precedenti a una determinata data. Nell'esempio seguente, rimuoverai i registri sysstats da tutti i PCVM più vecchi di 3 giorni (o 4320 minuti).
nutanix@PCVM:~$ allssh "find ~/data/logs/sysstats -name '*.gz' -mmin +4320 -type f -exec rm '{}' +"
Scenario 2
Se la tua istanza Prism Central corrisponde a questo scenario, fai riferimento allo scenario n. 2 KB-12707 e apri un caso con il supporto Nutanix per ricevere assistenza nella risoluzione del problema.
Scenario 3
clicca qui per visualizzare informazioni dettagliate in questo scenario:
L'aumento di Prism Central VM e l'utilizzo del disco di aggiornamento sono dovuti a più file di installazione di Prism Central. Ridurre l'utilizzo della partizione di aggiornamento della VM Prism Central rimuovendo i file del programma di installazione di Prism Central che non sono necessari.
Questa partizione /home/nutanix/upgrade è progettata per contenere i file relativi all'aggiornamento. Pertanto, qualsiasi altro file all'interno di questa directory può essere eliminato.
L'utilizzo della partizione come elencato in
df -h :
/dev/sde 30G 26G 4.1G 87%/home/nutanix/upgrade
Per controllare il contenuto del disco:
allssh "ls -latr /home/nutanix/upgrade/"
Per rimuovere i file indesiderati, utilizzare il comando seguente:
rm -f /home/nutanix/upgrade/<file_to_be_removed>
Nota: se elimini accidentalmente l'aggiornamento di Prism Central in questa cartella, accedi a Prism Central tramite un browser Web, vai su Impostazioni Prism Central --> Aggiorna Prism Central --> fai clic sulla "X" accanto all'aggiornamento del software e Scarica nuovamente il pacchetto.
Scenario 4
Nutanix è a conoscenza del problema. La correzione di questo problema sarà resa disponibile in una futura versione per PC. Per una soluzione alternativa, contatta il supporto Nutanix .
Scenario 5
Se vedi che il file di registro catalina.out consuma molto spazio, utilizza il comando seguente per riavviare il servizio prisma su PCVM.
clicca qui per visualizzare informazioni dettagliate in questo scenario:
nutanix@PCVM:~$ genesis stop prism; cluster start
In alcuni rari casi, il file catalina.out non libererà automaticamente lo spazio dopo il ribaltamento del prisma leader. Per risolvere questo problema, azzera manualmente il file di registro catalina.out dopo il rollover del prisma leader:
nutanix@PCVM:~$ echo "" > ~/data/logs/catalina.out
Per PCVM a istanza singola, eseguire questa modifica mentre il servizio prisma è interrotto, quindi eseguire un avvio del cluster.
Scenario 6
Segui KB-6082 per cancellare l'utilizzo dell'inode.
articoli Correlati