nutanix@pcvm$ ncc health_checks run_all

Of voer de pcvm_disk_usage_check -controle afzonderlijk uit.

 nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check

U kunt de controles ook uitvoeren vanaf de Prism Web Console Health-pagina: selecteer Acties > Controles uitvoeren . Selecteer Alle controles en klik op Uitvoeren .

Deze controle wordt standaard elke 5 minuten uitgevoerd.

Deze controle genereert een waarschuwing na vijf opeenvolgende fouten in geplande intervallen.

Voorbeelduitvoer
Voor status: PASS

 Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check               [ PASS ] -------------------------------------------------------------------------------+ +---------------+ | State | Count | +---------------+ | Pass  | 1     | | Total | 1     | +---------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log

Voor status: WARN (op Prism Central VM-gegevensschijf, bijvoorbeeld /dev/sdc1)

 Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx disk usage exceeds warning limit 75 % for disks: /dev/sdc1(/home/nutanix/data/stargate-storage/disks/NFS_2_0_283_5a853328_a7fa_45a4_b3d2_6f91cffaa653). Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log

Voor status: WAARSCHUWEN (op Prism Central VM in het algemeen MultiVDisk)

 Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx overall MultiVDisk usage exceeds warning limit of 2321329924 KB. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log

Voor status: FAIL (op Prism Central VM-gegevensschijf, bijvoorbeeld /dev/sdc1)

 Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx disk usage exceeds critical limit 90 % for disks: /dev/sdc1(/home/nutanix/data/stargate-storage/disks/NFS_2_0_283_5a853328_a7fa_45a4_b3d2_6f91cffaa653). Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log

Voor status: FAIL (op rootpartitie, dwz /)

 Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: FAIL: PC VM root partition xxxx disk usage exceeds critical limit 95 % for disks: 97%. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------+ | State | Count | +-----------------+ | Fail | 1 | | Total | 1 | +-----------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log

Voor status: WARN (op Prism Central VM-thuispartitie, dwz /home)

 Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx home partition disk usage exceeds warning limit 75 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log

Voor status: FAIL (op Prism Central VM-thuispartitie, dwz /home)

 Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx home partition disk usage exceeds critical limit 90 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log

Voor status: WARN (op Prism Central VM CMSP-partitie, dwz /dev/sde)

 Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Platform disk space usage in Prism Central VM xxxx exceeds 75% for disk(s): /dev/sde Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list= xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log

Voor status: FAIL (op Prism Central VM CMSP-partitie, dwz /dev/sde)

 Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx : FAIL: Platform disk space usage in Prism Central VM xxxx exceeds 90% for disk(s): /dev/sde Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list= xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log

Voor status: FAIL (op Prism Central VM-upgradeschijfpartitie, dwz /home/nutanix/upgrade)

 Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+Detailed information for pcvm_disk_usage_check: Node xxxx: FAIL: Prism Central VM xxxx upgrade disk usage exceeds critical limit 70 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log

Opmerking: Bij alle opdrachten in dit artikel die op de pc moeten worden uitgevoerd, wordt ervan uitgegaan dat u zich via SSH aanmeldt bij de pc-VM.

 nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on /dev/sdb1 9.8G 7.2G 2.2G 78% / devtmpfs 7.9G 0 7.9G 0% /dev tmpfs 7.9G 16K 7.9G 1% /dev/shm tmpfs 7.9G 428K 7.9G 1% /run tmpfs 7.9G 0 7.9G 0% /sys/fs/cgroup /dev/sdb3 40G 4.4G 35G 12% /home /dev/sdc1 493G 431G 57G 69% /home/nutanix/data/stargate-storage/disks/NFS_1_0_450_823394be_0c7b_4f18_8335_71bae1bc6c82 tmpfs 1.6G 0 1.6G 0% /run/user/1000

Partitie voor upgradeschijf zou er ongeveer als volgt uitzien:

 /dev/sde 30G 26G 4.1G 87% /home/nutanix/upgrade

Uitvoerberichten

Controleer identiteitskaart	101059
Beschrijving	Controleer of het schijfruimtegebruik op de Prism Central VM binnen de limieten valt.
Oorzaken van falen	Hoog schijfgebruik in de Prism Central VM.
Resoluties	Raadpleeg KB 5228 voor meer details.
Invloed	Prism Central VM heeft mogelijk onvoldoende opslagruimte om gegevens op te slaan.
Waarschuwings-ID	A101059
Titel van waarschuwing	Prism Central VM-schijfgebruik hoog
Waarschuwingsbericht	Prism Central VM IP- schijfgebruik overschrijdt waarschuwingslimiet x % voor schijven: schijven . Het totale MultiVDisk-gebruik van Prism Central VM IP overschrijdt de waarschuwingslimiet van 2321329924 KB Prism Central VM IP- schijfgebruik overschrijdt de kritische limiet x % voor schijven: schijven .

Controleer identiteitskaart	200316
Beschrijving	Controleert of het gebruik van de rootpartitie van het Prism Central-systeem binnen de drempel ligt om ononderbroken werking te garanderen.
Oorzaken van falen	Verhoogd gebruik van de rootpartitie van het Prism Central VM-systeem als gevolg van overmatige logboekregistratie of onvolledige onderhoudswerkzaamheden.
Resoluties	Verminder het gebruik van de rootpartitie van het Prism Central VM-systeem door bekende tijdelijke of onnodige bestanden te verwijderen. Raadpleeg KB 5228 voor meer details.
Invloed	Als de rootpartitie van het Prism Central VM-systeem intensief wordt gebruikt, kunnen bepaalde onderhoudswerkzaamheden, zoals upgrades, worden beïnvloed. Als de rootpartitie van het Prism Central VM-systeem voor 100% wordt gebruikt, kunnen services stoppen en de Prism Central-clusterbeheerfuncties beïnvloeden.
Waarschuwings-ID	A200316
Titel van waarschuwing	Prism Central VM-systeem Rootpartitieruimtegebruik hoog
Waarschuwingsbericht	Gebruik van schijfruimte voor rootpartitie mount_path op entiteit - ip_address heeft drempelwaarde % overschreden.

Controleer identiteitskaart	200317
Beschrijving	Controleert of het gebruik van de Prism Central-thuispartitie binnen de drempel ligt om ononderbroken werking te garanderen.
Oorzaken van falen	Verhoogd gebruik van de Prism Central VM-thuispartitie als gevolg van overmatig loggen of onvolledige onderhoudswerkzaamheden.
Resoluties	Verminder het gebruik van de Prism Central VM-thuispartitie door bekende tijdelijke of onnodige bestanden te verwijderen. Raadpleeg KB 5228 voor meer details.
Invloed	Als de Prism Central VM-thuispartitie intensief wordt gebruikt, kunnen bepaalde onderhoudswerkzaamheden, zoals upgrades, worden beïnvloed. Als de Prism Central VM-thuispartitie voor 100% wordt gebruikt, kunnen de services stoppen en de beschikbaarheid van clusteropslag beïnvloeden.
Waarschuwings-ID	A200317
Titel van waarschuwing	Prism Central VM-thuispartitieschijfgebruik hoog
Waarschuwingsbericht	Het schijfgebruik van de Prism Central VM IP -thuispartitie overschrijdt de waarschuwingslimiet x %. Het schijfgebruik van de Prism Central VM IP -thuispartitie overschrijdt de kritische limiet x %.

Controleer identiteitskaart	200328
Beschrijving	Controleer of het gebruik van platformschijfruimte op de Prism Central VM binnen de limieten valt.
Oorzaken van falen	Hoog schijfgebruik in de Prism Central VM.
Resoluties	Raadpleeg KB 5228 voor meer details.
Invloed	Prism Central VM heeft mogelijk onvoldoende opslagruimte om gegevens op te slaan.
Waarschuwings-ID	A200328
Titel van waarschuwing	Prism Central VM-platform schijfruimtegebruik hoog
Slimme titel waarschuwen	Prism Central VM svm_ip -platform schijfruimtegebruik hoog
Waarschuwingsbericht	Gebruik van platformschijfruimte in Prism Central VM svm_ip overschrijdt percentage_exceed % voor schijf(s): disk_paths .

Controleer identiteitskaart	200334
Beschrijving	Controleert of het gebruik van de Prism Central upgradeschijf binnen de drempel ligt om ononderbroken upgradebewerkingen te garanderen.
Oorzaken van falen	Verhoogd gebruik van de Prism Central VM-upgradeschijf vanwege de aanwezigheid van meerdere Prism Central Installer-bestanden
Resoluties	Verminder het gebruik van de Prism Central VM-upgradepartitie door de Prism Central Installer-bestanden te verwijderen die niet nodig zijn. Raadpleeg KB 5228 voor meer details.
Invloed	Als de Prism Central VM-upgradeschijf intensief wordt gebruikt, mislukt de Prism Central Upgrade vanwege ruimtegebrek op de upgradeschijf.
Waarschuwings-ID	A200334
Titel van waarschuwing	Prism Central VM-upgradeschijfgebruik
Waarschuwingsbericht	Prism Central VM <IP> upgrade schijfgebruik overschrijdt kritische limiet x%

Scenario 1
De map /home op langlopende pc-instanties kan bijna de maximale limiet bereiken omdat oudere Prism-code niet wordt opgeschoond:

 nutanix@pcvm$ cat ~/config/upgrade.history Thu, 17 Dec 2020 08:51:43 el7.3-release-euphrates-5.19-stable-b2ab98294375c3f24f4d813b83ffcb43d85ebcc1 Tue, 19 Jan 2021 11:53:43 el7.3-release-euphrates-5.19-stable-aadf03fd084cb00f0414f84549b7ebbe9691a984 Wed, 24 Feb 2021 08:53:13 el7.3-release-euphrates-5.19-stable-ddf5fcc232b693ae965280668b10d0337ce99281 Mon, 19 Apr 2021 07:03:39 el7.3-release-euphrates-5.19-stable-6d6cec7de63c8fd117eeb59162031d03c2faf548 Mon, 26 Apr 2021 07:00:07 el7.3-release-euphrates-5.19-stable-3927829dad6a930e67f2f4a47e752df5a8f6c64d Tue, 01 Jun 2021 10:15:14 el7.3-release-euphrates-5.19-stable-db974bded2c0cd1037288ca7aa9aef6f5e441222 Mon, 14 Jun 2021 09:47:29 el7.3-release-fraser-6.0-stable-a48467616ee7c603e3cee3174779cf24bea227cb Thu, 01 Jul 2021 11:52:24 el7.3-release-fraser-6.0-stable-0601c1f41bad35bf4afe05da443947d34927c6ae Thu, 05 Aug 2021 09:16:28 el7.3-release-fraser-6.0-stable-b9dbe4a0b0876cffa23d268d8ddc7f272fa4a166 Wed, 01 Sep 2021 07:44:46 el7.3-release-fraser-6.0-stable-f948d198de58b1b1e511431dbef0b34d20c82739 nutanix@pcvm$ sudo du -sh /home/apache/ www /console/el7.3-release-* 304M el7.3-release-euphrates-5.18.1.1-stable-4546d2908cb8495b316deb45de63b7f5e52541a1 541M el7.3-release-euphrates-5.18.1.2-stable-b1b096696c0c034570545912a00d39746e901f36 675M el7.3-release-euphrates-5.19.1.5-stable-0f9e00f661436fef1af18a094089744f34ccd8c0 1.1G el7.3-release-euphrates-5.19.1.6-stable-a1bbd4f054f86b9d445bf2153b93c5d8d920cff7 629M el7.3-release-euphrates-5.19.1-stable-6edca74801c9db2ff2003780084bb12aa6aa29f4 694M el7.3-release-euphrates-5.19.2-stable-8e7da6324cbe5c34564ec51615b10a7737c6782a 1.1G el7.3-release-euphrates-5.19-stable-5282152e02f3ede70f0957217a62dc436c60b454 329M el7.3-release-euphrates-5.20.1.1-stable-726ea8f7dc4bca156d3e3f63cd7982eecb70c8cb 2.1G el7.3-release-fraser-6.0.1.1-stable-d9f94c47b63e3eb4179dd7a6e16202d5856581a6

Het probleem is verholpen en opgelost in de releases: pc.2022.1, pc.2022.4, pc.2021.9.0.5 en hoger. Voor meer details en de oplossing raadpleegt u het betreffende oplossingsgedeelte.

Oudere sysstats-logboeken verwijderen
Als u alle gebruikelijke plaatsen heeft gecontroleerd, maar nog steeds ruimte moet vrijmaken, kunt u toestemming van de klant krijgen om oudere sysstats-logboeken te verwijderen. Controleer nogmaals of er geen openstaande ondersteuningsaanvragen zijn met in behandeling zijnde RCA's voordat u doorgaat, omdat deze gegevens mogelijk nog niet zijn verzameld.

 nutanix@pcvm:~$ sudo du -h -d 1 /home/nutanix/data/logs | sort -h 4.0K    /home/nutanix/data/logs/ecr 28K     /home/nutanix/data/logs/work 5.5M    /home/nutanix/data/logs/kafka 127M    /home/nutanix/data/logs/cassandra 162M    /home/nutanix/data/logs/data_providers 368M    /home/nutanix/data/logs/ikat_access_logs 4.2G    /home/nutanix/data/logs/sysstats 11G     /home/nutanix/data/logs nutanix@pcvm:~$

Scenario 2
Hyperkube-logboeken (kublet-logboeken) worden niet opgeschoond na het inschakelen van CMSP/microservices op Prism Central.

Als Cluster Maintenance Utilities (CMU) is bijgewerkt naar versie 2.0.3 met behulp van LCM, mist de meegeleverde Scavenger-versie de mogelijkheid om bepaalde logboeken met betrekking tot CMSP-microservices op te schonen. Als gevolg van dit probleem kunnen gebruikers merken dat de Prism Central-services niet starten of dat ze zich niet kunnen aanmelden bij de pc-gebruikersinterface. Dit probleem vult eerst de map /home/nutanix/data/sys-storage/NFS_.../ , waarna de kubelet-logboeken de rootpartitie in de map /tmp beginnen te vullen.

 nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 34G 0 34G 0% /dev tmpfs 34G 52K 34G 1% /dev/shm tmpfs 34G 3.4M 34G 1% /run tmpfs 34G 0 34G 0% /sys/fs/cgroup /dev/sdb2 9.8G 9.8G 0G 100% / /dev/sdb3 50G 33G 16G 68% /home tmpfs 6.7G 0 6.7G 0% /run/user/1000 /dev/sdf1 2.5T 21G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977956_4f2835fa_ab29_41c5_9110_483bff268ca0 /dev/sdg1 2.5T 13G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977958_10aa3f76_65a5_4fa6_8c88_7c70a4504f29 /dev/sde1 2.5T 20G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977954_df3a5816_b14b_4098_9b58_d90d670781a1 /dev/sdc1 2.5T 12G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977948_1bd3cd0d_de69_4a98_a18d_6049945e261b /dev/sdd 98G 88G 5.4G 100% /home/nutanix/data/kafka/disks/NFS_6708977950_cd98c6f5_c534_486a_a939_4f40bffd986c

Het kan zijn dat hyperkube.ntnx *-logboeken worden gegenereerd en niet correct worden geroteerd wanneer CMSP is ingeschakeld. Controleer of de directory /home/nutanix/data/sys-storage/NFS.../kubelet/ overmatig gevuld is met deze logs.

 nutanix@pcvm:~$ du -hsx /home/nutanix/data/sys-storage/NFS*/kubelet/ 97.0G /home/nutanix/data/sys-storage/NFS_6708977950_cd98c6f5_c534_486a_a939_4f40bffd986c/kubelet/ nutanix@pcvm:~$ ls -l /home/nutanix/data/sys-storage/NFS_4_0_7036_6578653c_8a38_4af8_9649_42e7939f3656/kubelet/kubelet* | wc -l 98

Wanneer we werken zoals bedoeld, zouden we minder dan 10G in deze kubelet-map moeten zien, en zou het aantal bestanden voor kubelet* minder dan ~15 zijn

Mogelijk zien we ook dat soortgelijke kubelet-logboeken ruimte in /tmp opvullen, nadat de ruimte in de map /home/nutanix/data/sys-storage/NFS... is opgebruikt.

 nutanix@pcvm:~$ sudo du -hsx /tmp 2.8G /tmp nutanix@pcvm:~/tmp$ sudo ls -larth /tmp/ total 2.8G ***truncated*** -rw-r--r--. 1 root root 109K Jun 23 05:49 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-054920.15123 -rw-r--r--. 1 root root 1.4K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055012.17214 -rw-r--r--. 1 root root 114K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055011.17214 -rw-r--r--. 1 root root 1.4K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055038.18217 -rw-r--r--. 1 root root 114K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055038.18217 -rw-r--r--. 1 root root 109K Jun 23 05:51 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055106.19499 -rw-r--r--. 1 root root 1.8G Jun 24 03:20 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055151.21218 -rw-r--r--. 1 root root 60K Jun 24 15:06 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230623-055155.21218 -rw-r--r--. 1 root root 5.8M Jun 24 15:10 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055152.21218 -rw-r--r--. 1 root root 990M Jun 24 15:10 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230624-032057.21218 -rw-r--r--. 1 root root 103K Jun 24 23:59 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230624-235940.170513 -rw-r--r--. 1 root root 3.3K Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-000123.175052 -rw-r--r--. 1 root root 6.7K Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-000120.175052 -rw-r--r--. 1 root root 2.8M Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-000120.175052 lrwxrwxrwx. 1 root root 67 Jun 25 04:01 kubelet.INFO -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-040145.21556 lrwxrwxrwx. 1 root root 70 Jun 25 04:01 kubelet.WARNING -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-040145.21556 lrwxrwxrwx. 1 root root 68 Jun 25 04:01 kubelet.ERROR -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-040148.21556 -rw-r--r--. 1 root root 25K Jun 25 04:02 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-040148.21556 -rw-r--r--. 1 root root 38K Jun 25 04:04 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-040145.21556 -rw-r--r--. 1 root root 6.0M Jun 25 04:04 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-040145.21556 -rw-------. 1 nutanix nutanix 0 Jun 26 08:37 .nstat.u1000 -rw-r-----. 1 nutanix nutanix 0 Jun 26 08:38 lcm_metrics_uploader_lock -rw-------. 1 nutanix nutanix 0 Jun 26 08:43 lazan_pc_greenlet_stack_dump -rw-------. 1 nutanix nutanix 0 Jun 26 08:43 uhura_greenlet_stack_dump drwxr-xr-x. 19 root root 4.0K Jun 26 08:44 .. drwx------. 2 nutanix nutanix 4.0K Jun 26 09:24 hsperfdata_nutanix drwxrwxrwt. 14 root root 4.0K Jun 26 09:35 .

Scenario 3
Vanaf PC.2022.6 wordt een speciale schijf van 30 GB gemaakt en gekoppeld voor pc-upgrades. Deze Vdisk zal worden gebruikt voor het downloaden en extraheren van upgrade-binaire bestanden van opeenvolgende upgrades. Als de Prism Central VM-upgradeschijf intensief wordt gebruikt, mislukt de Prism Central Upgrade vanwege ruimtegebrek op de upgradeschijf.

 nutanix@NTNX-PCVM:$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 13G 0 13G 0% /dev tmpfs 13G 40K 13G 1% /dev/shm tmpfs 13G 2.6M 13G 1% /run tmpfs 13G 0 13G 0% /sys/fs/cgroup /dev/sdb1 9.8G 7.2G 2.5G 75% / /dev/sdb3 50G 14G 36G 28% /home /dev/sde 30G 26G 4.1G 87% /home/nutanix/upgrade /dev/sdc1 492G 147M 486G 1% /home/nutanix/data/stargate-storage/disks/NFS_2_0_271_960db4d2_45e7_4ef7_92bd_bdcd7e0b6aaf tmpfs 2.6G 0 2.6G 0% /run/user/1000

Opmerking : als er meerdere services zijn ingeschakeld op Prism Central, zoals msp, karbon, kalm, flow en objecten, zou het /home-gebruik hoog zijn, omdat elk van de services verschillende logbestanden en configuratiebestanden zal genereren. De engineers van Nutanix werken voortdurend aan het verbeteren van het /home-gebruik. Als geen van de bovenstaande scenario's overeenkomt en dit van invloed is op de Prism Central-upgrade, schakel dan het Nutanix-ondersteuningsteam in om te helpen /home handmatig op te ruimen door de logboeken in te korten.

Scenario 4
Vanwege het probleem met het roteren van logbestanden, is het directorygebruik van Adonis hoog. Dit logdirectorygebruik mag niet groter zijn dan 1G. Voor Scale-Out Prism Central-implementaties controleert u het bestandsgebruik op elk van de Prism Central-VM's:

 nutanix@pcvm:~/data/logs$ sudo du -h /home/nutanix/adonis/logs 6.1G /home/nutanix/adonis/logs/access 19G /home/nutanix

Scenario 5
In bepaalde gevallen kan catalina.out een grote hoeveelheid ruimte in beslag nemen op de Prism Central VM.

SSH naar Prism Central en controleer of /home/nutanix/data/logs/catalina.out een enorme hoeveelheid ruimte in beslag neemt:

 nutanix@PCVM:~$ allssh du -h /home/nutanix/data/logs/catalina.out

Scenario 6
Voor pc 2022.9 en hoger wordt gezien dat een hoog inodegebruik in de PCVM een hoog gebruik van de rootpartitie veroorzaakt

SSH naar de prismacentrale en voer de volgende opdrachten uit om het inodegebruik te verifiëren:

 nutanix@PCVM:~$ allssh df -i /

 nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 7.9G 0 7.9G 0% /dev tmpfs 7.9G 44K 7.9G 1% /dev/shm tmpfs 7.9G 6.1M 7.9G 1% /run tmpfs 7.9G 0 7.9G 0% /sys/fs/cgroup /dev/sdb1 9.8G 7.4G 2.3G 77% / /dev/sdb3 50G 8.5G 41G 18% /home /dev/sdc1 492G 150M 486G 1% /home/nutanix/data/stargate-storage/disks/NFS_2_0_267_5a298323_3c9f_4a6f_a265_10c4c1e6593e tmpfs 1.6G 0 1.6G 0% /run/user/1000 /dev/sde 98G 401M 93G 1% /home/nutanix/data/sys-storage/NFS_1_0_264_1f5cda9a_2b3f_4f49_b348_baeb0ae338b8 tmpfs 1.6G 0 1.6G 0% /run/user/0

 nutanix@pcvm$ allssh df -h nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check

 nutanix@pcvm$ allssh df -h nutanix@pcvm$ sudo du -h --max-depth=1 / 2>/dev/null nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check

Het probleem is verholpen en opgelost in de releases: pc.2022.1, pc.2022.4, pc.2021.9.0.5 en hoger.
Als tijdelijke oplossing verwijdert u de mappen die geen geregistreerde clusters met de overeenkomstige versie hebben.

1. Zoek de AOS-versies van alle geregistreerde PE's. U kunt dit doen via Prism Central > Hardware > Clusters > kolom AOS-versie.
2. Geef een overzicht van de PE-apache-consolemappen op /home/apache/ www /console/

 nutanix@pcvm$ sudo ls -lrth /home/apache/ www /console/el7.3-release-*

3. Als er PE-apache-consolemappen aanwezig zijn die niet overeenkomen met geregistreerde PE-versies, moeten deze veilig kunnen worden opgeschoond.

Als u meer hulp nodig heeft bij het opruimen, kunt u overwegen Nutanix Support in te schakelen. Verzamel de uitvoer van de onderstaande opdrachten en voeg deze toe aan de ondersteuningsaanvraag:

 nutanix@pcvm$ ncli cluster info nutanix@pcvm$ allssh df -h nutanix@pcvm$ sudo du -h --max-depth=1 /home/apache/ www 2>/dev/null nutanix@pcvm$ cat ~/config/upgrade.history nutanix@pcvm$ ls -lrth /home/apache/ www /console/el7.3-release-* nutanix@pcvm$ du -sh /home/apache/ www /console/el7.3-release-*

Oudere sysstats-logboeken verwijderen
Als u alle gebruikelijke plaatsen heeft ingecheckt, maar nog steeds ruimte moet vrijmaken, kunt u toestemming van de klant krijgen om oudere sysstats-logboeken te verwijderen. Controleer nogmaals of er geen openstaande ondersteuningsaanvragen zijn met in behandeling zijnde RCA's voordat u doorgaat, omdat deze gegevens mogelijk nog niet zijn verzameld.

 nutanix@PCVM:~$ sudo du -h -d 1 /home/nutanix/data/logs | sort -h 4.0K    /home/nutanix/data/logs/ecr 28K     /home/nutanix/data/logs/work 5.5M    /home/nutanix/data/logs/kafka 127M    /home/nutanix/data/logs/cassandra 162M    /home/nutanix/data/logs/data_providers 368M    /home/nutanix/data/logs/ikat_access_logs 4.2G    /home/nutanix/data/logs/sysstats 11G     /home/nutanix/data/logs nutanix@PCVM:~$

U kunt de volgende opdracht gebruiken om gzipte sysstats-logboeken ouder dan een bepaalde datum te verwijderen. In het onderstaande voorbeeld verwijdert u sysstats-logboeken van alle PCVM's die ouder zijn dan 3 dagen (of 4320 minuten).

 nutanix@PCVM:~$ allssh "find ~/data/logs/sysstats -name '*.gz' -mmin +4320 -type f -exec rm '{}' +"

De toename van het gebruik van Prism Central VM, upgradeschijven, is te wijten aan meerdere Prism Central Installer-bestanden. Verminder het gebruik van de Prism Central VM-upgradepartitie door de Prism Central Installer-bestanden te verwijderen die niet nodig zijn.
Deze partitie /home/nutanix/upgrade is ontworpen om upgradegerelateerde bestanden te bevatten. Elk ander bestand in deze map kan dus worden verwijderd.

Het partitiegebruik zoals vermeld in df -h :

 /dev/sde 30G 26G 4.1G 87%/home/nutanix/upgrade

Om de inhoud van de schijf te controleren:

 allssh "ls -latr /home/nutanix/upgrade/"

Gebruik de onderstaande opdracht om de ongewenste bestanden te verwijderen:

 rm -f /home/nutanix/upgrade/<file_to_be_removed>

Let op: Als u per ongeluk de Prism Central Upgrade in deze map verwijdert, log dan in op Prism Central via een webbrowser, ga naar Prism Central Instellingen --> Upgrade Prism Central --> Klik op de "X" naast de software-upgrade en Download het pakket opnieuw.

 nutanix@PCVM:~$ genesis stop prism; cluster start

In sommige zeldzame gevallen maakt het bestand catalina.out niet automatisch ruimte vrij nadat de prismaleider omrolt. Om dit op te lossen, kunt u het logbestand catalina.out handmatig op nul zetten nadat de prismaleider is omgedraaid:

 nutanix@PCVM:~$ echo "" > ~/data/logs/catalina.out

Voor PCVM's met één exemplaar voert u deze wijziging uit terwijl de prismaservice is gestopt en voert u vervolgens een clusterstart uit.