Ten artykuł został przetłumaczony maszynowo. Aby wyświetlić oryginalną wersję anglojęzyczną, kliknij tutaj.
Opis
Kontrola stanu NCC pcvm_disk_usage_check sprawdza, czy ilość wykorzystania dysku lub partycji systemowej w maszynie wirtualnej Prism Central (PC) mieści się w określonych granicach.
Kontrola ta składa się z następujących części:
- Sprawdzanie indywidualnego wykorzystania dysku na dane (dodane w NCC 3.5.1):
- Jeśli użycie przekracza 75% przez kilka godzin, zostanie zwrócone OSTRZEŻENIE w celu zidentyfikowania dysku.
- Jeśli użycie przekracza 90% przez kilka godzin, zwracany jest komunikat FAIL w celu zidentyfikowania dysku.
- Sprawdzanie ogólnego wykorzystania dysku z danymi (dodano w NCC 3.10.1):
- Jeśli całkowite wykorzystanie przekroczy 90% przez kilka godzin, zostanie zwrócone OSTRZEŻENIE.
- Sprawdzanie użycia partycji głównej systemu Prism Central VM (dodano w NCC 3.9.4). Zwraca tylko komunikat FAIL, jeśli użycie partycji przekracza 95%.
- Sprawdzanie użycia partycji domowej Prism Central VM (dodano w NCC 3.9.4):
- Jeżeli wykorzystanie przekracza 75%, zwracane jest OSTRZEŻENIE.
- Jeśli użycie przekracza 90%, zwracany jest komunikat FAIL.
- Sprawdzanie użycia partycji CMSP Prism Central VM (dodano w NCC 3.10.1):
- Jeśli wykorzystanie przekracza 75%, zwracane jest OSTRZEŻENIE.
- Jeśli użycie przekracza 90%, zwracany jest komunikat FAIL.
- Sprawdzanie wykorzystania partycji dysku Prism Central VM Upgrade (dodano w NCC 4.6.0):
- Jeśli użycie przekracza 70%, zwracany jest komunikat FAIL.
- Ta kontrola jest uruchamiana co 5 minut.
- Jeśli wystąpi więcej niż 5 błędów (30 minut), zostanie zgłoszony alert krytyczny.
Uwaga : jeśli używasz LCM-2.6 lub LCM-2.6.0.1, zbiór dzienników LCM zapełnia katalog /home. Aby znaleźć obejście, zobacz KB-14671 .
Uruchamianie kontroli NCC
Uruchom kontrolę NCC w ramach pełnej kontroli stanu NCC.
Kliknij tutaj aby wyświetlić szczegółowe informacje poniżej:
nutanix@pcvm$ ncc health_checks run_all
Lub uruchom osobno sprawdzanie pcvm_disk_usage_check .
nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check
Możesz także uruchomić kontrole na stronie Kondycja konsoli internetowej Prism: wybierz Działania > Uruchom kontrole . Wybierz Wszystkie kontrole i kliknij Uruchom .
Domyślnie to sprawdzanie jest zaplanowane co 5 minut.
Ta kontrola wygeneruje alert po 5 kolejnych błędach w zaplanowanych odstępach czasu.
Przykładowe wyjścia
Dla statusu: PASS
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ PASS ] -------------------------------------------------------------------------------+ +---------------+ | State | Count | +---------------+ | Pass | 1 | | Total | 1 | +---------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Dla statusu: WARN (na dysku danych maszyny wirtualnej Prism Central, np. /dev/sdc1)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx disk usage exceeds warning limit 75 % for disks: /dev/sdc1(/home/nutanix/data/stargate-storage/disks/NFS_2_0_283_5a853328_a7fa_45a4_b3d2_6f91cffaa653). Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Dla stanu: WARN (na maszynie wirtualnej Prism Central, ogólnie MultiVDisk)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx overall MultiVDisk usage exceeds warning limit of 2321329924 KB. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Dla statusu: FAIL (na dysku danych maszyny wirtualnej Prism Central, np. /dev/sdc1)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx disk usage exceeds critical limit 90 % for disks: /dev/sdc1(/home/nutanix/data/stargate-storage/disks/NFS_2_0_283_5a853328_a7fa_45a4_b3d2_6f91cffaa653). Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Dla statusu: FAIL (na partycji root, tj. /)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: FAIL: PC VM root partition xxxx disk usage exceeds critical limit 95 % for disks: 97%. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------+ | State | Count | +-----------------+ | Fail | 1 | | Total | 1 | +-----------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Dla statusu: WARN (na partycji domowej Prism Central VM, tj. /home)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx home partition disk usage exceeds warning limit 75 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Dla statusu: FAIL (na partycji domowej Prism Central VM, tj. /home)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx home partition disk usage exceeds critical limit 90 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Dla statusu: WARN (na partycji CMSP Prism Central VM, tj. /dev/sde)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Platform disk space usage in Prism Central VM xxxx exceeds 75% for disk(s): /dev/sde Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list= xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Dla statusu: FAIL (na partycji CMSP Prism Central VM, tj. /dev/sde)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx : FAIL: Platform disk space usage in Prism Central VM xxxx exceeds 90% for disk(s): /dev/sde Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list= xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Dla statusu: FAIL (na partycji dysku aktualizacji Prism Central VM, tj. /home/nutanix/upgrade)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+Detailed information for pcvm_disk_usage_check: Node xxxx: FAIL: Prism Central VM xxxx upgrade disk usage exceeds critical limit 70 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Uwaga: wszystkie polecenia opisane w tym artykule, które można uruchomić na komputerze PC, zakładają, że logujesz się do maszyny wirtualnej komputera PC za pośrednictwem protokołu SSH.
Sprawdzanie użycia dysku w maszynie wirtualnej komputera
Poniżej znajduje się przykład sprawdzania użycia dysku na maszynie wirtualnej komputera PC.
Kliknij tutaj aby wyświetlić poniższy przykład:
nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on /dev/sdb1 9.8G 7.2G 2.2G 78% / devtmpfs 7.9G 0 7.9G 0% /dev tmpfs 7.9G 16K 7.9G 1% /dev/shm tmpfs 7.9G 428K 7.9G 1% /run tmpfs 7.9G 0 7.9G 0% /sys/fs/cgroup /dev/sdb3 40G 4.4G 35G 12% /home /dev/sdc1 493G 431G 57G 69% /home/nutanix/data/stargate-storage/disks/NFS_1_0_450_823394be_0c7b_4f18_8335_71bae1bc6c82 tmpfs 1.6G 0 1.6G 0% /run/user/1000
Partycja dysku uaktualniającego będzie wyglądać podobnie do:
/dev/sde 30G 26G 4.1G 87% /home/nutanix/upgrade
Komunikat wyjściowy
|
Sprawdź dowód
|
101059 |
|
Opis
|
Sprawdź, czy wykorzystanie miejsca na dysku na maszynie wirtualnej Prism Central mieści się w granicach. |
|
Przyczyny niepowodzeń
|
Wysokie użycie dysku w maszynie wirtualnej Prism Central. |
|
Postanowienia
|
Dalsze szczegóły można znaleźć w dokumencie KB 5228. |
|
Uderzenie
|
W maszynie Prism Central VM może zabraknąć miejsca do przechowywania danych. |
|
Identyfikator alertu
|
A101059 |
|
Tytuł alertu
|
Wysokie wykorzystanie dysku maszyny wirtualnej Prism Central |
|
Wiadomość alarmowa
|
Użycie dysku IP maszyny wirtualnej Prism Central przekracza limit ostrzegawczy x % dla dysków: dyski .
Ogólne wykorzystanie adresu IP maszyny wirtualnej Prism Central na MultiVDisk przekracza limit ostrzegawczy wynoszący 2321329924 KB
Użycie dysku IP maszyny wirtualnej Prism Central przekracza limit krytyczny x % dla dysków: dyski . |
|
Sprawdź dowód
|
200316 |
|
Opis
|
Sprawdza, czy użycie partycji głównej systemu Prism Central mieści się w określonym progu, aby zapewnić nieprzerwane działanie. |
|
Przyczyny niepowodzeń
|
Zwiększone wykorzystanie partycji głównej systemu Prism Central VM z powodu nadmiernego logowania lub niekompletnych operacji konserwacyjnych. |
|
Postanowienia
|
Zmniejsz wykorzystanie partycji głównej systemu Prism Central VM, usuwając wszelkie znane pliki tymczasowe lub niepotrzebne. Dalsze szczegóły można znaleźć w dokumencie KB 5228. |
|
Uderzenie
|
Jeśli partycja główna systemu Prism Central VM jest bardzo obciążona, może to mieć wpływ na niektóre operacje konserwacyjne, takie jak aktualizacje. Jeśli partycja główna systemu Prism Central VM jest wykorzystana w 100%, usługi mogą zostać zatrzymane i mieć wpływ na funkcje zarządzania klastrem Prism Central. |
|
Identyfikator alertu
|
A200316 |
|
Tytuł alertu
|
Wysokie wykorzystanie przestrzeni partycji głównej systemu Prism Central VM
|
|
Wiadomość alarmowa
|
Użycie miejsca na dysku dla partycji głównej ścieżka_montowania na jednostce — adres_ip przekroczyło próg %. |
|
Sprawdź dowód
|
200317 |
|
Opis
|
Sprawdza, czy użycie partycji domowej Prism Central mieści się w określonym progu, aby zapewnić nieprzerwane działanie. |
|
Przyczyny niepowodzeń
|
Zwiększone wykorzystanie partycji domowej maszyny wirtualnej Prism Central z powodu nadmiernego logowania lub niekompletnych operacji konserwacyjnych. |
|
Postanowienia
|
Zmniejsz wykorzystanie partycji domowej Prism Central VM, usuwając wszelkie znane pliki tymczasowe lub niepotrzebne. Dalsze szczegóły można znaleźć w dokumencie KB 5228. |
|
Uderzenie
|
Jeśli partycja domowa maszyny wirtualnej Prism Central jest bardzo obciążona, może to mieć wpływ na niektóre operacje konserwacyjne, takie jak aktualizacje. Jeśli partycja domowa maszyny wirtualnej Prism Central jest wykorzystana w 100%, usługi mogą zostać zatrzymane i mieć wpływ na dostępność pamięci klastra. |
|
Identyfikator alertu
|
A200317 |
|
Tytuł alertu
|
Wysokie użycie dysku partycji domowej Prism Central VM |
|
Wiadomość alarmowa
|
Użycie dysku partycji domowej IP maszyny wirtualnej Prism Central przekracza limit ostrzegawczy x %.
Użycie dysku partycji domowej IP maszyny wirtualnej Prism Central przekracza limit krytyczny x %. |
|
Sprawdź dowód
|
200328 |
|
Opis
|
Sprawdź, czy wykorzystanie miejsca na dysku platformy na maszynie wirtualnej Prism Central mieści się w granicach. |
|
Przyczyny niepowodzeń
|
Wysokie użycie dysku w maszynie wirtualnej Prism Central. |
|
Postanowienia
|
Dalsze szczegóły można znaleźć w dokumencie KB 5228. |
|
Uderzenie
|
W maszynie Prism Central VM może zabraknąć miejsca do przechowywania danych. |
|
Identyfikator alertu
|
A200328 |
|
Tytuł alertu
|
Wysokie wykorzystanie miejsca na dysku platformy Prism Central VM |
|
Alert inteligentny tytuł
|
Wysokie wykorzystanie miejsca na dysku platformy Prism Central VM svm_ip |
|
Wiadomość alarmowa
|
Wykorzystanie miejsca na dysku przez platformę w Prism Central VM svm_ip przekracza percent_exceed % dla dysków: ścieżki_dysku . |
|
Sprawdź dowód
|
200334 |
|
Opis
|
Sprawdza, czy wykorzystanie dysku aktualizacyjnego Prism Central mieści się w określonym progu, aby zapewnić nieprzerwane operacje aktualizacji. |
|
Przyczyny niepowodzeń
|
Zwiększone wykorzystanie dysku aktualizacji Prism Central VM ze względu na obecność wielu plików instalatora Prism Central |
|
Postanowienia
|
Zmniejsz wykorzystanie partycji aktualizacji Prism Central VM, usuwając niepotrzebne pliki instalatora Prism Central. Dalsze szczegóły można znaleźć w dokumencie KB 5228. |
|
Uderzenie
|
Jeśli dysk aktualizacyjny Prism Central VM jest bardzo obciążony, aktualizacja Prism Central nie powiedzie się z powodu braku miejsca na dysku aktualizacyjnym. |
|
Identyfikator alertu
|
A200334 |
|
Tytuł alertu
|
Użycie dysku aktualizacji Prism Central VM |
|
Wiadomość alarmowa
|
Użycie dysku aktualizacji Prism Central VM <IP> przekracza krytyczny limit x% |
Scenariusze wyzwalające sprawdzenie pcvm_disk_usage Ostrzeżenie/Niepowodzenie na partycji /home
Kliknij tutaj aby wyświetlić szczegółowe informacje w tym kroku:
Scenariusz 1
Katalog /home w długotrwałych instancjach komputerów PC może osiągnąć prawie maksymalny limit, ponieważ starszy kod Prism nie jest czyszczony:
nutanix@pcvm$ cat ~/config/upgrade.history Thu, 17 Dec 2020 08:51:43 el7.3-release-euphrates-5.19-stable-b2ab98294375c3f24f4d813b83ffcb43d85ebcc1 Tue, 19 Jan 2021 11:53:43 el7.3-release-euphrates-5.19-stable-aadf03fd084cb00f0414f84549b7ebbe9691a984 Wed, 24 Feb 2021 08:53:13 el7.3-release-euphrates-5.19-stable-ddf5fcc232b693ae965280668b10d0337ce99281 Mon, 19 Apr 2021 07:03:39 el7.3-release-euphrates-5.19-stable-6d6cec7de63c8fd117eeb59162031d03c2faf548 Mon, 26 Apr 2021 07:00:07 el7.3-release-euphrates-5.19-stable-3927829dad6a930e67f2f4a47e752df5a8f6c64d Tue, 01 Jun 2021 10:15:14 el7.3-release-euphrates-5.19-stable-db974bded2c0cd1037288ca7aa9aef6f5e441222 Mon, 14 Jun 2021 09:47:29 el7.3-release-fraser-6.0-stable-a48467616ee7c603e3cee3174779cf24bea227cb Thu, 01 Jul 2021 11:52:24 el7.3-release-fraser-6.0-stable-0601c1f41bad35bf4afe05da443947d34927c6ae Thu, 05 Aug 2021 09:16:28 el7.3-release-fraser-6.0-stable-b9dbe4a0b0876cffa23d268d8ddc7f272fa4a166 Wed, 01 Sep 2021 07:44:46 el7.3-release-fraser-6.0-stable-f948d198de58b1b1e511431dbef0b34d20c82739 nutanix@pcvm$ sudo du -sh /home/apache/ www /console/el7.3-release-* 304M el7.3-release-euphrates-5.18.1.1-stable-4546d2908cb8495b316deb45de63b7f5e52541a1 541M el7.3-release-euphrates-5.18.1.2-stable-b1b096696c0c034570545912a00d39746e901f36 675M el7.3-release-euphrates-5.19.1.5-stable-0f9e00f661436fef1af18a094089744f34ccd8c0 1.1G el7.3-release-euphrates-5.19.1.6-stable-a1bbd4f054f86b9d445bf2153b93c5d8d920cff7 629M el7.3-release-euphrates-5.19.1-stable-6edca74801c9db2ff2003780084bb12aa6aa29f4 694M el7.3-release-euphrates-5.19.2-stable-8e7da6324cbe5c34564ec51615b10a7737c6782a 1.1G el7.3-release-euphrates-5.19-stable-5282152e02f3ede70f0957217a62dc436c60b454 329M el7.3-release-euphrates-5.20.1.1-stable-726ea8f7dc4bca156d3e3f63cd7982eecb70c8cb 2.1G el7.3-release-fraser-6.0.1.1-stable-d9f94c47b63e3eb4179dd7a6e16202d5856581a6
Problem został rozwiązany i naprawiony w wydaniach: pc.2022.1, pc.2022.4, pc.2021.9.0.5 i nowszych. Aby uzyskać więcej informacji i obejść problem, zapoznaj się z odpowiednią sekcją dotyczącą rozwiązań.
Usuwanie starszych logów sysstats
Jeśli sprawdziłeś wszystkie zwykłe miejsca, ale nadal musisz zwolnić miejsce, możesz uzyskać zgodę klienta na usunięcie starszych dzienników sysstats. Przed kontynuowaniem sprawdź dokładnie, czy nie ma otwartych spraw pomocy technicznej z oczekującymi RCA, ponieważ dane te mogły jeszcze nie zostać zebrane.
nutanix@pcvm:~$ sudo du -h -d 1 /home/nutanix/data/logs | sort -h 4.0K /home/nutanix/data/logs/ecr 28K /home/nutanix/data/logs/work 5.5M /home/nutanix/data/logs/kafka 127M /home/nutanix/data/logs/cassandra 162M /home/nutanix/data/logs/data_providers 368M /home/nutanix/data/logs/ikat_access_logs 4.2G /home/nutanix/data/logs/sysstats 11G /home/nutanix/data/logs nutanix@pcvm:~$
Scenariusz 2
Dzienniki Hyperkube (dzienniki Kublet) nie są czyszczone po włączeniu CMSP/mikrousług w Prism Central.
Jeśli narzędzia Cluster Maintenance Utilities (CMU) zostały zaktualizowane do wersji 2.0.3 przy użyciu LCM, w dołączonej wersji modułu oczyszczającego brakuje możliwości czyszczenia niektórych dzienników związanych z mikrousługami CMSP. W wyniku tego problemu użytkownicy mogą stwierdzić, że usługi Prism Central nie uruchamiają się lub nie mogą zalogować się do interfejsu użytkownika komputera. Ten problem spowoduje najpierw zapełnienie katalogu /home/nutanix/data/sys-storage/NFS_.../ , po czym dzienniki kubelet zaczną zapełniać partycję główną w folderze /tmp.
nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 34G 0 34G 0% /dev tmpfs 34G 52K 34G 1% /dev/shm tmpfs 34G 3.4M 34G 1% /run tmpfs 34G 0 34G 0% /sys/fs/cgroup /dev/sdb2 9.8G 9.8G 0G 100% / /dev/sdb3 50G 33G 16G 68% /home tmpfs 6.7G 0 6.7G 0% /run/user/1000 /dev/sdf1 2.5T 21G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977956_4f2835fa_ab29_41c5_9110_483bff268ca0 /dev/sdg1 2.5T 13G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977958_10aa3f76_65a5_4fa6_8c88_7c70a4504f29 /dev/sde1 2.5T 20G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977954_df3a5816_b14b_4098_9b58_d90d670781a1 /dev/sdc1 2.5T 12G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977948_1bd3cd0d_de69_4a98_a18d_6049945e261b /dev/sdd 98G 88G 5.4G 100% /home/nutanix/data/kafka/disks/NFS_6708977950_cd98c6f5_c534_486a_a939_4f40bffd986c
Może się okazać, że dzienniki hyperkube.ntnx * są generowane i nie są poprawnie obracane, gdy włączone jest CMSP. Sprawdź, czy katalog /home/nutanix/data/sys-storage/NFS.../kubelet/ nie jest nadmiernie zapełniony tymi logami.
nutanix@pcvm:~$ du -hsx /home/nutanix/data/sys-storage/NFS*/kubelet/ 97.0G /home/nutanix/data/sys-storage/NFS_6708977950_cd98c6f5_c534_486a_a939_4f40bffd986c/kubelet/ nutanix@pcvm:~$ ls -l /home/nutanix/data/sys-storage/NFS_4_0_7036_6578653c_8a38_4af8_9649_42e7939f3656/kubelet/kubelet* | wc -l 98
Podczas pracy zgodnie z przeznaczeniem powinniśmy zobaczyć mniej niż 10G w tym folderze kubelet, a liczba plików dla kubelet* będzie mniejsza niż ~15
Możemy dodatkowo zobaczyć, że podobne logi kubelet zapełniają miejsce w /tmp, po wyczerpaniu się miejsca w katalogu /home/nutanix/data/sys-storage/NFS....
nutanix@pcvm:~$ sudo du -hsx /tmp 2.8G /tmp nutanix@pcvm:~/tmp$ sudo ls -larth /tmp/ total 2.8G ***truncated*** -rw-r--r--. 1 root root 109K Jun 23 05:49 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-054920.15123 -rw-r--r--. 1 root root 1.4K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055012.17214 -rw-r--r--. 1 root root 114K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055011.17214 -rw-r--r--. 1 root root 1.4K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055038.18217 -rw-r--r--. 1 root root 114K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055038.18217 -rw-r--r--. 1 root root 109K Jun 23 05:51 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055106.19499 -rw-r--r--. 1 root root 1.8G Jun 24 03:20 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055151.21218 -rw-r--r--. 1 root root 60K Jun 24 15:06 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230623-055155.21218 -rw-r--r--. 1 root root 5.8M Jun 24 15:10 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055152.21218 -rw-r--r--. 1 root root 990M Jun 24 15:10 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230624-032057.21218 -rw-r--r--. 1 root root 103K Jun 24 23:59 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230624-235940.170513 -rw-r--r--. 1 root root 3.3K Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-000123.175052 -rw-r--r--. 1 root root 6.7K Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-000120.175052 -rw-r--r--. 1 root root 2.8M Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-000120.175052 lrwxrwxrwx. 1 root root 67 Jun 25 04:01 kubelet.INFO -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-040145.21556 lrwxrwxrwx. 1 root root 70 Jun 25 04:01 kubelet.WARNING -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-040145.21556 lrwxrwxrwx. 1 root root 68 Jun 25 04:01 kubelet.ERROR -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-040148.21556 -rw-r--r--. 1 root root 25K Jun 25 04:02 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-040148.21556 -rw-r--r--. 1 root root 38K Jun 25 04:04 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-040145.21556 -rw-r--r--. 1 root root 6.0M Jun 25 04:04 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-040145.21556 -rw-------. 1 nutanix nutanix 0 Jun 26 08:37 .nstat.u1000 -rw-r-----. 1 nutanix nutanix 0 Jun 26 08:38 lcm_metrics_uploader_lock -rw-------. 1 nutanix nutanix 0 Jun 26 08:43 lazan_pc_greenlet_stack_dump -rw-------. 1 nutanix nutanix 0 Jun 26 08:43 uhura_greenlet_stack_dump drwxr-xr-x. 19 root root 4.0K Jun 26 08:44 .. drwx------. 2 nutanix nutanix 4.0K Jun 26 09:24 hsperfdata_nutanix drwxrwxrwt. 14 root root 4.0K Jun 26 09:35 .
Scenariusz 3
Począwszy od PC.2022.6 - tworzony i montowany jest dedykowany dysk o pojemności 30 GB na potrzeby aktualizacji komputera. Ten dysk Vdisk będzie używany do pobierania i rozpakowywania plików binarnych aktualizacji z kolejnych aktualizacji. Jeśli dysk aktualizacyjny Prism Central VM jest bardzo obciążony, aktualizacja Prism Central nie powiedzie się z powodu braku miejsca na dysku aktualizacyjnym.
nutanix@NTNX-PCVM:$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 13G 0 13G 0% /dev tmpfs 13G 40K 13G 1% /dev/shm tmpfs 13G 2.6M 13G 1% /run tmpfs 13G 0 13G 0% /sys/fs/cgroup /dev/sdb1 9.8G 7.2G 2.5G 75% / /dev/sdb3 50G 14G 36G 28% /home /dev/sde 30G 26G 4.1G 87% /home/nutanix/upgrade /dev/sdc1 492G 147M 486G 1% /home/nutanix/data/stargate-storage/disks/NFS_2_0_271_960db4d2_45e7_4ef7_92bd_bdcd7e0b6aaf tmpfs 2.6G 0 2.6G 0% /run/user/1000
Uwaga : W przypadku, gdy w Prism Central włączonych jest kilka usług, takich jak msp, karbon, spokój, przepływ i obiekty, użycie /home będzie wysokie, ponieważ każda z usług wygeneruje kilka dzienników i plików konfiguracyjnych. Inżynierowie Nutanix stale pracują nad poprawą użytkowania /home. Jeśli żaden z powyższych scenariuszy nie pasuje i ma to wpływ na aktualizację Prism Central, zaangażuj zespół pomocy technicznej Nutanix , aby pomógł w ręcznym oczyszczeniu /home poprzez przycięcie dzienników.
Scenariusz 4
Ze względu na problem z rotacją plików dziennika wykorzystanie katalogu dzienników Adonis jest wysokie. Użycie katalogu dziennika nie powinno przekraczać 1G. W przypadku wdrożeń Scale-Out Prism Central sprawdź użycie plików na każdej maszynie wirtualnej Prism Central:
nutanix@pcvm:~/data/logs$ sudo du -h /home/nutanix/adonis/logs 6.1G /home/nutanix/adonis/logs/access 19G /home/nutanix
Scenariusz 5
W niektórych przypadkach catalina.out może zużywać dużą ilość miejsca na maszynie wirtualnej Prism Central.
SSH do Prism Central i sprawdź, czy /home/nutanix/data/logs/catalina.out zajmuje dużo miejsca:
nutanix@PCVM:~$ allssh du -h /home/nutanix/data/logs/catalina.out
Scenariusz 6
W przypadku komputerów PC w wersji 2022.9 i nowszych wysokie użycie i-węzła w PCVM powoduje duże wykorzystanie partycji głównej
SSH do prism central i uruchom następujące polecenia, aby sprawdzić użycie i-węzła:
nutanix@PCVM:~$ allssh df -i /
Rozwiązanie
Jeśli kontrola zgłosi stan WARN lub FAIL, użycie dysku przekracza próg i wymaga sprawdzenia. Ogólnie rzecz biorąc, wykorzystanie miejsca można sprawdzić za pomocą df -h . Dane wyjściowe poniżej przedstawiają punkty montowania w następujący sposób:
- /dev/sdb1 to partycja główna
- /dev/sdb3 to partycja domowa
- /dev/sdc1 to partycja dysku z danymi
nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 7.9G 0 7.9G 0% /dev tmpfs 7.9G 44K 7.9G 1% /dev/shm tmpfs 7.9G 6.1M 7.9G 1% /run tmpfs 7.9G 0 7.9G 0% /sys/fs/cgroup /dev/sdb1 9.8G 7.4G 2.3G 77% / /dev/sdb3 50G 8.5G 41G 18% /home /dev/sdc1 492G 150M 486G 1% /home/nutanix/data/stargate-storage/disks/NFS_2_0_267_5a298323_3c9f_4a6f_a265_10c4c1e6593e tmpfs 1.6G 0 1.6G 0% /run/user/1000 /dev/sde 98G 401M 93G 1% /home/nutanix/data/sys-storage/NFS_1_0_264_1f5cda9a_2b3f_4f49_b348_baeb0ae338b8 tmpfs 1.6G 0 1.6G 0% /run/user/0
Użycie dysku danych ( /dev/sdXX ) lub ogólne użycie wielu dysków :
Sprawdź, czy liczba maszyn wirtualnych obsługiwana dla konkretnego rozmiaru Prism Central mieści się w limicie (sprawdź przewodnik Prism Central dla Twojej wersji w Portalu Wsparcia, aby poznać limity). Skontaktuj się z pomocą techniczną Nutanix . Otwierając zgłoszenie do pomocy technicznej, dołącz do zgłoszenia dane wyjściowe następujących poleceń.
nutanix@pcvm$ allssh df -h nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check
Partycja domowa maszyny wirtualnej Prism Central ( /home ):
Sprawdź dane wyjściowe NCC, aby określić, która maszyna wirtualna Prism Central jest najczęściej używana, a następnie wykonaj następujące czynności:
- Zaloguj się do maszyny wirtualnej Prism Central.
- Użyj polecenia cd , aby zmienić lokalizację na partycję /home.
- Wyświetl zawartość katalogu według rozmiaru, używając poniższego polecenia:
nutanix@pcvm$ ls -al | sort -k5,5nr
Sprawdź dane wyjściowe pod kątem dużych, nieużywanych plików, które można usunąć.
- Uruchom poniższe polecenie du , aby wyświetlić listę wykorzystania każdego pliku i podkatalogu:
nutanix@pcvm$ sudo du -skxh * | sort -h
Sprawdź dane wyjściowe dużych podkatalogów. Możesz uruchomić polecenie du dla każdego podkatalogu, o którym mowa, aby dokładniej zidentyfikować duże, nieużywane pliki, które można usunąć.
- Poniżej znajduje się kilka popularnych podkatalogów /home , w których prawdopodobnie znajdują się duże, nieużywane pliki:
- /home/nutanix/software_downloads/ - usuń wszystkie stare wersje inne niż te, które aktualnie aktualizujesz.
- /home/nutanix/software_uncompressed/ - usuń wszystkie stare wersje inne niż te, które aktualnie aktualizujesz.
- /home/nutanix/data/cores - usuń stare ślady stosu, które nie są już potrzebne.
- /home/nutanix/data/log_collector/ - usuń stare logi NCC w formacie NCC-logs-2018-07-20-11111111111111-1032057545.tar.
- /home/nutanix/foundation/isos/ - stare ISO.
- /home/nutanix/foundation/tmp/ - pliki tymczasowe, które można usunąć.
Jeśli powyższe kroki nie rozwiążą problemu lub jeśli problem pasuje do jednego ze scenariuszy przedstawionych wcześniej w tym artykule, wykonaj kroki opisane poniżej.
Partycja systemu głównego maszyny wirtualnej Prism Central ( / ) lub partycja CMSP ( /dev/sdXX ):
Rozważ skorzystanie z pomocy technicznej Nutanix . Zbierz dane wyjściowe poniższych poleceń i dołącz je do zgłoszenia do pomocy technicznej:
nutanix@pcvm$ allssh df -h nutanix@pcvm$ sudo du -h --max-depth=1 / 2>/dev/null nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check
Scenariusz 1
Kliknij tutaj aby wyświetlić szczegółowe informacje w tym scenariuszu:
Problem został rozwiązany i naprawiony w wersjach: pc.2022.1, pc.2022.4, pc.2021.9.0.5 i nowszych.
Aby obejść ten problem, usuń katalogi, które nie zawierają zarejestrowanych klastrów w odpowiedniej wersji.
- Znajdź wersje AOS wszystkich zarejestrowanych PE. Możesz to zrobić w kolumnie Prism Central > Sprzęt > Klastry > Wersja AOS.
- Lista katalogów konsoli PE Apache pod adresem /home/apache/ www /console/
nutanix@pcvm$ sudo ls -lrth /home/apache/ www /console/el7.3-release-*
- Jeśli obecne są jakiekolwiek katalogi konsoli Apache PE, które nie odpowiadają zarejestrowanym wersjom PE, ich wyczyszczenie powinno być bezpieczne.
Jeśli potrzebujesz dalszej pomocy przy sprzątaniu, rozważ skorzystanie z pomocy technicznej Nutanix . Zbierz dane wyjściowe poniższych poleceń i dołącz je do zgłoszenia do pomocy technicznej:
nutanix@pcvm$ ncli cluster info nutanix@pcvm$ allssh df -h nutanix@pcvm$ sudo du -h --max-depth=1 /home/apache/ www 2>/dev/null nutanix@pcvm$ cat ~/config/upgrade.history nutanix@pcvm$ ls -lrth /home/apache/ www /console/el7.3-release-* nutanix@pcvm$ du -sh /home/apache/ www /console/el7.3-release-*
Usuwanie starszych logów sysstats
Jeśli sprawdziłeś wszystkie zwykłe miejsca, ale nadal musisz zwolnić miejsce, możesz uzyskać zgodę klienta na usunięcie starszych dzienników sysstats. Przed kontynuowaniem sprawdź dokładnie, czy nie ma otwartych spraw pomocy technicznej z oczekującymi RCA, ponieważ dane te mogły jeszcze nie zostać zebrane.
nutanix@PCVM:~$ sudo du -h -d 1 /home/nutanix/data/logs | sort -h 4.0K /home/nutanix/data/logs/ecr 28K /home/nutanix/data/logs/work 5.5M /home/nutanix/data/logs/kafka 127M /home/nutanix/data/logs/cassandra 162M /home/nutanix/data/logs/data_providers 368M /home/nutanix/data/logs/ikat_access_logs 4.2G /home/nutanix/data/logs/sysstats 11G /home/nutanix/data/logs nutanix@PCVM:~$
Możesz użyć następującego polecenia, aby usunąć spakowane dzienniki sysstats starsze niż określona data. W poniższym przykładzie usuniesz dzienniki sysstats ze wszystkich PCVM starszych niż 3 dni (lub 4320 minut).
nutanix@PCVM:~$ allssh "find ~/data/logs/sysstats -name '*.gz' -mmin +4320 -type f -exec rm '{}' +"
Scenariusz 2
Jeśli Twoja instancja Prism Central pasuje do tego scenariusza, zapoznaj się z scenariuszem nr 2 KB-12707 i otwórz sprawę do pomocy technicznej Nutanix , aby uzyskać pomoc w rozwiązaniu problemu.
Scenariusz 3
Kliknij tutaj aby wyświetlić szczegółowe informacje w tym scenariuszu:
Wzrost wykorzystania maszyny wirtualnej Prism Central i dysku uaktualniającego wynika z wielu plików instalatora Prism Central. Zmniejsz wykorzystanie partycji aktualizacji Prism Central VM, usuwając niepotrzebne pliki instalatora Prism Central.
Ta partycja /home/nutanix/upgrade jest przeznaczona do przechowywania plików związanych z aktualizacją. Zatem każdy inny plik w tym katalogu można usunąć.
Użycie partycji wymienione w
df -h :
/dev/sde 30G 26G 4.1G 87%/home/nutanix/upgrade
Aby sprawdzić zawartość dysku:
allssh "ls -latr /home/nutanix/upgrade/"
Aby usunąć niechciane pliki, użyj poniższego polecenia:
rm -f /home/nutanix/upgrade/<file_to_be_removed>
Uwaga: Jeśli przypadkowo usuniesz aktualizację Prism Central z tego folderu, zaloguj się do Prism Central za pomocą przeglądarki internetowej, przejdź do Ustawienia Prism Central --> Aktualizuj Prism Central --> Kliknij „X” obok aktualizacji oprogramowania i Pobierz ponownie pakiet.
Scenariusz 4
Nutanix jest świadomy problemu. Rozwiązanie tego problemu zostanie udostępnione w przyszłej wersji na komputery PC. Aby obejść ten problem, skontaktuj się z pomocą techniczną Nutanix .
Scenariusz 5
Jeśli widzisz, że plik dziennika catalina.out zajmuje dużo miejsca, użyj poniższego polecenia, aby zrestartować usługę prism na PCVM.
Kliknij tutaj aby wyświetlić szczegółowe informacje w tym scenariuszu:
nutanix@PCVM:~$ genesis stop prism; cluster start
W niektórych rzadkich przypadkach plik catalina.out nie zwolni automatycznie miejsca po przewróceniu się lidera pryzmatu. Aby to naprawić, ręcznie wyzeruj plik dziennika catalina.out po przewróceniu się lidera pryzmatu:
nutanix@PCVM:~$ echo "" > ~/data/logs/catalina.out
W przypadku PCVM z pojedynczą instancją należy wykonać tę zmianę, gdy usługa pryzmatu jest zatrzymana, a następnie uruchomić klaster.
Scenariusz 6
Postępuj zgodnie z KB-6082, aby wyczyścić użycie i-węzła.
Powiązane artykuły
