Ini merupakan artikel terjemahan mesin, silakan klik disini untuk melihat versi asli Inggris.
Keterangan
Pemeriksaan kesehatan NCC pcvm_disk_usage_check memverifikasi bahwa jumlah penggunaan disk atau partisi sistem di VM Prism Central (PC) berada dalam batas.
Pemeriksaan ini memiliki bagian-bagian berikut:
- Memeriksa penggunaan disk data individual (ditambahkan di NCC 3.5.1):
- Jika penggunaan lebih dari 75% selama beberapa jam, PERINGATAN dikembalikan untuk mengidentifikasi disk.
- Jika penggunaan lebih dari 90% selama beberapa jam, FAIL dikembalikan untuk mengidentifikasi disk.
- Memeriksa penggunaan disk data secara keseluruhan (ditambahkan di NCC 3.10.1):
- Jika penggunaan keseluruhan lebih dari 90% selama beberapa jam, PERINGATAN akan ditampilkan.
- Memeriksa penggunaan partisi root sistem Prism Central VM (ditambahkan di NCC 3.9.4). Hanya mengembalikan pesan FAIL jika penggunaan partisi melebihi 95%.
- Memeriksa penggunaan partisi home Prism Central VM (ditambahkan di NCC 3.9.4):
- Jika pemakaian lebih dari 75%, PERINGATAN dikembalikan.
- Jika penggunaan lebih dari 90%, FAIL dikembalikan.
- Memeriksa penggunaan partisi Prism Central VM CMSP (ditambahkan di NCC 3.10.1):
- Jika penggunaan lebih dari 75%, PERINGATAN dikembalikan.
- Jika penggunaan lebih dari 90%, FAIL dikembalikan.
- Memeriksa penggunaan partisi disk Prism Central VM Upgrade (ditambahkan di NCC 4.6.0):
- Jika penggunaan lebih dari 70%, FAIL dikembalikan.
- Pemeriksaan ini dijalankan setiap 5 menit.
- Jika ada lebih dari 5 kegagalan (30 menit), peringatan kritis akan dimunculkan.
Catatan : Jika Anda menjalankan LCM-2.6 atau LCM-2.6.0.1, kumpulan log LCM akan mengisi direktori /home, lihat KB-14671 untuk solusinya.
Menjalankan pemeriksaan NCC
Jalankan pemeriksaan NCC sebagai bagian dari pemeriksaan kesehatan NCC yang lengkap.
klik disini untuk menampilkan informasi rinci di bawah ini:
nutanix@pcvm$ ncc health_checks run_all
Atau jalankan pemeriksaan pcvm_disk_usage_check secara terpisah.
nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check
Anda juga dapat menjalankan pemeriksaan dari halaman Kesehatan Konsol Web Prism: pilih Tindakan > Jalankan Pemeriksaan . Pilih Semua pemeriksaan dan klik Jalankan .
Pemeriksaan ini dijadwalkan dijalankan setiap 5 menit, secara default.
Pemeriksaan ini akan menghasilkan peringatan setelah 5 kegagalan berturut-turut dalam interval yang dijadwalkan.
Contoh Keluaran
Untuk status: LULUS
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ PASS ] -------------------------------------------------------------------------------+ +---------------+ | State | Count | +---------------+ | Pass | 1 | | Total | 1 | +---------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Untuk Status: PERINGATAN (pada disk data VM Prism Central, misalnya /dev/sdc1)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx disk usage exceeds warning limit 75 % for disks: /dev/sdc1(/home/nutanix/data/stargate-storage/disks/NFS_2_0_283_5a853328_a7fa_45a4_b3d2_6f91cffaa653). Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Untuk Status: PERINGATAN (pada Prism Central VM secara keseluruhan MultiVDisk)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx overall MultiVDisk usage exceeds warning limit of 2321329924 KB. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Untuk Status: FAIL (pada disk data Prism Central VM, misal /dev/sdc1)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx disk usage exceeds critical limit 90 % for disks: /dev/sdc1(/home/nutanix/data/stargate-storage/disks/NFS_2_0_283_5a853328_a7fa_45a4_b3d2_6f91cffaa653). Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Untuk Status: GAGAL (pada partisi root, yaitu /)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: FAIL: PC VM root partition xxxx disk usage exceeds critical limit 95 % for disks: 97%. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------+ | State | Count | +-----------------+ | Fail | 1 | | Total | 1 | +-----------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Untuk Status: PERINGATAN (pada partisi home Prism Central VM, yaitu/home)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx home partition disk usage exceeds warning limit 75 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Untuk Status: GAGAL (pada partisi home Prism Central VM, yaitu/home)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx home partition disk usage exceeds critical limit 90 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Untuk Status: PERINGATAN (pada partisi Prism Central VM CMSP, yaitu /dev/sde)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Platform disk space usage in Prism Central VM xxxx exceeds 75% for disk(s): /dev/sde Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list= xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Untuk Status: GAGAL (pada partisi Prism Central VM CMSP, yaitu /dev/sde)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx : FAIL: Platform disk space usage in Prism Central VM xxxx exceeds 90% for disk(s): /dev/sde Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list= xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Untuk Status: GAGAL (pada partisi disk pemutakhiran Prism Central VM, yaitu /home/nutanix/upgrade)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+Detailed information for pcvm_disk_usage_check: Node xxxx: FAIL: Prism Central VM xxxx upgrade disk usage exceeds critical limit 70 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Catatan: Semua perintah dalam artikel ini untuk dijalankan di PC mengasumsikan Anda masuk ke VM PC melalui SSH.
Memeriksa Penggunaan Disk di PC VM
Berikut adalah contoh cara memeriksa penggunaan disk pada VM PC.
klik disini untuk menampilkan contoh di bawah ini:
nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on /dev/sdb1 9.8G 7.2G 2.2G 78% / devtmpfs 7.9G 0 7.9G 0% /dev tmpfs 7.9G 16K 7.9G 1% /dev/shm tmpfs 7.9G 428K 7.9G 1% /run tmpfs 7.9G 0 7.9G 0% /sys/fs/cgroup /dev/sdb3 40G 4.4G 35G 12% /home /dev/sdc1 493G 431G 57G 69% /home/nutanix/data/stargate-storage/disks/NFS_1_0_450_823394be_0c7b_4f18_8335_71bae1bc6c82 tmpfs 1.6G 0 1.6G 0% /run/user/1000
Partisi untuk pemutakhiran disk akan muncul seperti:
/dev/sde 30G 26G 4.1G 87% /home/nutanix/upgrade
Pesan keluaran
|
Periksa ID
|
101059 |
|
Keterangan
|
Periksa apakah penggunaan ruang disk pada Prism Central VM masih dalam batas. |
|
Penyebab kegagalan
|
Penggunaan disk yang tinggi di VM Prism Central. |
|
Resolusi
|
Lihat KB 5228 untuk rincian lebih lanjut. |
|
Dampak
|
Prism Central VM mungkin kehabisan ruang penyimpanan untuk menyimpan data. |
|
ID Peringatan
|
A101059 |
|
Judul Peringatan
|
Penggunaan disk VM Prism Central tinggi |
|
Pesan Peringatan
|
Penggunaan disk IP Prism Central VM melebihi batas peringatan x % untuk disk: disks .
Prism Central VM IP penggunaan MultiVDisk secara keseluruhan melebihi batas peringatan 2321329924 KB
Penggunaan disk IP Prism Central VM melebihi batas kritis x % untuk disk: disks . |
|
Periksa ID
|
200316 |
|
Keterangan
|
Memeriksa apakah penggunaan partisi root sistem Prism Central berada dalam ambang batas untuk memastikan operasi tidak terganggu. |
|
Penyebab kegagalan
|
Peningkatan penggunaan partisi root sistem Prism Central VM karena logging berlebihan atau operasi pemeliharaan yang tidak lengkap. |
|
Resolusi
|
Kurangi penggunaan partisi root sistem Prism Central VM dengan menghapus file sementara atau yang tidak diperlukan. Lihat KB 5228 untuk rincian lebih lanjut. |
|
Dampak
|
Jika partisi root sistem Prism Central VM banyak digunakan, operasi pemeliharaan tertentu, seperti peningkatan, mungkin terpengaruh. Jika partisi root sistem VM Prism Central digunakan 100%, layanan dapat berhenti dan memengaruhi fungsi manajemen klaster Prism Central. |
|
ID Peringatan
|
A200316 |
|
Judul Peringatan
|
Penggunaan Ruang Partisi Root Sistem VM Pusat Prism Tinggi
|
|
Pesan Peringatan
|
Penggunaan ruang disk untuk partisi root mount_path pada entitas - ip_address telah melampaui ambang batas %. |
|
Periksa ID
|
200317 |
|
Keterangan
|
Memeriksa apakah penggunaan partisi rumah Prism Central berada dalam ambang batas untuk memastikan operasi tidak terganggu. |
|
Penyebab kegagalan
|
Peningkatan penggunaan partisi rumah VM Prism Central karena pencatatan berlebihan atau operasi pemeliharaan yang tidak lengkap. |
|
Resolusi
|
Kurangi penggunaan partisi rumah VM Prism Central dengan menghapus file sementara atau yang tidak diperlukan. Lihat KB 5228 untuk rincian lebih lanjut. |
|
Dampak
|
Jika partisi home Prism Central VM banyak digunakan, maka operasi pemeliharaan tertentu, seperti peningkatan, mungkin akan terpengaruh. Jika partisi rumah VM Prism Central digunakan 100%, layanan mungkin berhenti dan memengaruhi ketersediaan penyimpanan kluster. |
|
ID Peringatan
|
A200317 |
|
Judul Peringatan
|
Penggunaan disk partisi rumah Prism Central VM tinggi |
|
Pesan Peringatan
|
Penggunaan disk partisi rumah Prism Central VM IP melebihi batas peringatan x %.
Penggunaan disk partisi rumah Prism Central VM IP melebihi batas kritis x %. |
|
Periksa ID
|
200328 |
|
Keterangan
|
Periksa apakah penggunaan ruang disk platform pada Prism Central VM masih dalam batas. |
|
Penyebab kegagalan
|
Penggunaan disk yang tinggi di VM Prism Central. |
|
Resolusi
|
Lihat KB 5228 untuk rincian lebih lanjut. |
|
Dampak
|
Prism Central VM mungkin kehabisan ruang penyimpanan untuk menyimpan data. |
|
ID Peringatan
|
A200328 |
|
Judul Peringatan
|
Penggunaan ruang disk platform Prism Central VM tinggi |
|
Peringatan Judul Cerdas
|
Penggunaan ruang disk platform Prism Central VM svm_ip tinggi |
|
Pesan Peringatan
|
Penggunaan ruang disk platform di VM Prism Central svm_ip melebihi persentase_exceed % untuk disk: disk_paths . |
|
Periksa ID
|
200334 |
|
Keterangan
|
Memeriksa apakah penggunaan disk pemutakhiran Prism Central berada dalam ambang batas untuk memastikan operasi pemutakhiran tidak terganggu. |
|
Penyebab kegagalan
|
Peningkatan penggunaan disk pemutakhiran Prism Central VM karena adanya beberapa file Penginstal Prism Central |
|
Resolusi
|
Kurangi penggunaan partisi pemutakhiran Prism Central VM dengan menghapus file Penginstal Prism Central yang tidak diperlukan. Lihat KB 5228 untuk rincian lebih lanjut. |
|
Dampak
|
Jika disk pemutakhiran VM Prism Central sangat banyak digunakan, maka Pemutakhiran Prism Central akan gagal karena kurangnya ruang di disk pemutakhiran. |
|
ID Peringatan
|
A200334 |
|
Judul Peringatan
|
Penggunaan disk peningkatan VM Prism Central |
|
Pesan Peringatan
|
Penggunaan disk pemutakhiran Prism Central VM <IP> melebihi batas kritis x% |
Skenario yang memicu pemeriksaan pcvm_disk_usage Peringatkan/Gagal pada partisi/home
klik disini untuk menampilkan informasi rinci pada langkah ini:
skenario 1
Direktori /home pada instance PC yang berjalan lama mungkin mendekati batas maksimumnya karena kode Prism lama tidak dibersihkan:
nutanix@pcvm$ cat ~/config/upgrade.history Thu, 17 Dec 2020 08:51:43 el7.3-release-euphrates-5.19-stable-b2ab98294375c3f24f4d813b83ffcb43d85ebcc1 Tue, 19 Jan 2021 11:53:43 el7.3-release-euphrates-5.19-stable-aadf03fd084cb00f0414f84549b7ebbe9691a984 Wed, 24 Feb 2021 08:53:13 el7.3-release-euphrates-5.19-stable-ddf5fcc232b693ae965280668b10d0337ce99281 Mon, 19 Apr 2021 07:03:39 el7.3-release-euphrates-5.19-stable-6d6cec7de63c8fd117eeb59162031d03c2faf548 Mon, 26 Apr 2021 07:00:07 el7.3-release-euphrates-5.19-stable-3927829dad6a930e67f2f4a47e752df5a8f6c64d Tue, 01 Jun 2021 10:15:14 el7.3-release-euphrates-5.19-stable-db974bded2c0cd1037288ca7aa9aef6f5e441222 Mon, 14 Jun 2021 09:47:29 el7.3-release-fraser-6.0-stable-a48467616ee7c603e3cee3174779cf24bea227cb Thu, 01 Jul 2021 11:52:24 el7.3-release-fraser-6.0-stable-0601c1f41bad35bf4afe05da443947d34927c6ae Thu, 05 Aug 2021 09:16:28 el7.3-release-fraser-6.0-stable-b9dbe4a0b0876cffa23d268d8ddc7f272fa4a166 Wed, 01 Sep 2021 07:44:46 el7.3-release-fraser-6.0-stable-f948d198de58b1b1e511431dbef0b34d20c82739 nutanix@pcvm$ sudo du -sh /home/apache/ www /console/el7.3-release-* 304M el7.3-release-euphrates-5.18.1.1-stable-4546d2908cb8495b316deb45de63b7f5e52541a1 541M el7.3-release-euphrates-5.18.1.2-stable-b1b096696c0c034570545912a00d39746e901f36 675M el7.3-release-euphrates-5.19.1.5-stable-0f9e00f661436fef1af18a094089744f34ccd8c0 1.1G el7.3-release-euphrates-5.19.1.6-stable-a1bbd4f054f86b9d445bf2153b93c5d8d920cff7 629M el7.3-release-euphrates-5.19.1-stable-6edca74801c9db2ff2003780084bb12aa6aa29f4 694M el7.3-release-euphrates-5.19.2-stable-8e7da6324cbe5c34564ec51615b10a7737c6782a 1.1G el7.3-release-euphrates-5.19-stable-5282152e02f3ede70f0957217a62dc436c60b454 329M el7.3-release-euphrates-5.20.1.1-stable-726ea8f7dc4bca156d3e3f63cd7982eecb70c8cb 2.1G el7.3-release-fraser-6.0.1.1-stable-d9f94c47b63e3eb4179dd7a6e16202d5856581a6
Masalah ini telah diatasi dan diperbaiki dalam rilis: pc.2022.1, pc.2022.4, pc.2021.9.0.5 dan yang lebih baru. Untuk detail lebih lanjut dan solusinya, silakan merujuk ke bagian solusi yang sesuai.
Menghapus log sysstats lama
Jika Anda telah memeriksa semua tempat biasa tetapi masih perlu mengosongkan ruang, Anda bisa mendapatkan izin pelanggan untuk menghapus log sysstats lama. Periksa kembali apakah tidak ada kasus dukungan terbuka dengan RCA yang tertunda sebelum melanjutkan, karena data ini mungkin belum dikumpulkan.
nutanix@pcvm:~$ sudo du -h -d 1 /home/nutanix/data/logs | sort -h 4.0K /home/nutanix/data/logs/ecr 28K /home/nutanix/data/logs/work 5.5M /home/nutanix/data/logs/kafka 127M /home/nutanix/data/logs/cassandra 162M /home/nutanix/data/logs/data_providers 368M /home/nutanix/data/logs/ikat_access_logs 4.2G /home/nutanix/data/logs/sysstats 11G /home/nutanix/data/logs nutanix@pcvm:~$
Skenario 2
Log Hyperkube (log kublet) tidak dibersihkan setelah mengaktifkan CMSP/layanan mikro di Prism Central.
Jika Cluster Maintenance Utilities (CMU) telah diperbarui ke versi 2.0.3 menggunakan LCM, versi Scavenger yang disertakan tidak memiliki kemampuan untuk membersihkan log tertentu yang terkait dengan layanan mikro CMSP. Akibat masalah ini, pengguna mungkin mendapati layanan Prism Central tidak dapat dimulai atau mereka tidak dapat masuk ke UI PC. Masalah ini pertama-tama akan mengisi direktori /home/nutanix/data/sys-storage/NFS_.../ , setelah itu log kubelet akan mulai mengisi partisi root di folder /tmp.
nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 34G 0 34G 0% /dev tmpfs 34G 52K 34G 1% /dev/shm tmpfs 34G 3.4M 34G 1% /run tmpfs 34G 0 34G 0% /sys/fs/cgroup /dev/sdb2 9.8G 9.8G 0G 100% / /dev/sdb3 50G 33G 16G 68% /home tmpfs 6.7G 0 6.7G 0% /run/user/1000 /dev/sdf1 2.5T 21G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977956_4f2835fa_ab29_41c5_9110_483bff268ca0 /dev/sdg1 2.5T 13G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977958_10aa3f76_65a5_4fa6_8c88_7c70a4504f29 /dev/sde1 2.5T 20G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977954_df3a5816_b14b_4098_9b58_d90d670781a1 /dev/sdc1 2.5T 12G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977948_1bd3cd0d_de69_4a98_a18d_6049945e261b /dev/sdd 98G 88G 5.4G 100% /home/nutanix/data/kafka/disks/NFS_6708977950_cd98c6f5_c534_486a_a939_4f40bffd986c
Kami mungkin menemukan log hyperkube.ntnx * dibuat dan tidak diputar dengan benar saat CMSP diaktifkan. Periksa apakah direktori /home/nutanix/data/sys-storage/NFS.../kubelet/ terlalu banyak diisi dengan log ini.
nutanix@pcvm:~$ du -hsx /home/nutanix/data/sys-storage/NFS*/kubelet/ 97.0G /home/nutanix/data/sys-storage/NFS_6708977950_cd98c6f5_c534_486a_a939_4f40bffd986c/kubelet/ nutanix@pcvm:~$ ls -l /home/nutanix/data/sys-storage/NFS_4_0_7036_6578653c_8a38_4af8_9649_42e7939f3656/kubelet/kubelet* | wc -l 98
Ketika berfungsi sebagaimana mestinya, kita akan melihat kurang dari 10G yang digunakan dalam folder kubelet ini, dan jumlah file untuk kubelet* akan kurang dari ~15
Kita mungkin juga melihat log kubelet serupa mengisi ruang di /tmp, setelah ruang di direktori /home/nutanix/data/sys-storage/NFS... telah habis.
nutanix@pcvm:~$ sudo du -hsx /tmp 2.8G /tmp nutanix@pcvm:~/tmp$ sudo ls -larth /tmp/ total 2.8G ***truncated*** -rw-r--r--. 1 root root 109K Jun 23 05:49 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-054920.15123 -rw-r--r--. 1 root root 1.4K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055012.17214 -rw-r--r--. 1 root root 114K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055011.17214 -rw-r--r--. 1 root root 1.4K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055038.18217 -rw-r--r--. 1 root root 114K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055038.18217 -rw-r--r--. 1 root root 109K Jun 23 05:51 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055106.19499 -rw-r--r--. 1 root root 1.8G Jun 24 03:20 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055151.21218 -rw-r--r--. 1 root root 60K Jun 24 15:06 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230623-055155.21218 -rw-r--r--. 1 root root 5.8M Jun 24 15:10 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055152.21218 -rw-r--r--. 1 root root 990M Jun 24 15:10 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230624-032057.21218 -rw-r--r--. 1 root root 103K Jun 24 23:59 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230624-235940.170513 -rw-r--r--. 1 root root 3.3K Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-000123.175052 -rw-r--r--. 1 root root 6.7K Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-000120.175052 -rw-r--r--. 1 root root 2.8M Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-000120.175052 lrwxrwxrwx. 1 root root 67 Jun 25 04:01 kubelet.INFO -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-040145.21556 lrwxrwxrwx. 1 root root 70 Jun 25 04:01 kubelet.WARNING -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-040145.21556 lrwxrwxrwx. 1 root root 68 Jun 25 04:01 kubelet.ERROR -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-040148.21556 -rw-r--r--. 1 root root 25K Jun 25 04:02 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-040148.21556 -rw-r--r--. 1 root root 38K Jun 25 04:04 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-040145.21556 -rw-r--r--. 1 root root 6.0M Jun 25 04:04 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-040145.21556 -rw-------. 1 nutanix nutanix 0 Jun 26 08:37 .nstat.u1000 -rw-r-----. 1 nutanix nutanix 0 Jun 26 08:38 lcm_metrics_uploader_lock -rw-------. 1 nutanix nutanix 0 Jun 26 08:43 lazan_pc_greenlet_stack_dump -rw-------. 1 nutanix nutanix 0 Jun 26 08:43 uhura_greenlet_stack_dump drwxr-xr-x. 19 root root 4.0K Jun 26 08:44 .. drwx------. 2 nutanix nutanix 4.0K Jun 26 09:24 hsperfdata_nutanix drwxrwxrwt. 14 root root 4.0K Jun 26 09:35 .
Skenario 3
Mulai PC.2022.6 - disk khusus 30 GB dibuat dan dipasang untuk peningkatan PC. Vdisk ini akan digunakan untuk mengunduh dan mengekstrak binari pemutakhiran dari pemutakhiran berturut-turut. Jika disk pemutakhiran VM Prism Central sangat banyak digunakan, maka Pemutakhiran Prism Central akan gagal karena kurangnya ruang di disk pemutakhiran.
nutanix@NTNX-PCVM:$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 13G 0 13G 0% /dev tmpfs 13G 40K 13G 1% /dev/shm tmpfs 13G 2.6M 13G 1% /run tmpfs 13G 0 13G 0% /sys/fs/cgroup /dev/sdb1 9.8G 7.2G 2.5G 75% / /dev/sdb3 50G 14G 36G 28% /home /dev/sde 30G 26G 4.1G 87% /home/nutanix/upgrade /dev/sdc1 492G 147M 486G 1% /home/nutanix/data/stargate-storage/disks/NFS_2_0_271_960db4d2_45e7_4ef7_92bd_bdcd7e0b6aaf tmpfs 2.6G 0 2.6G 0% /run/user/1000
Catatan : Jika beberapa layanan diaktifkan di Prism Central, seperti msp, karbon, tenang, aliran, dan objek, kita akan melihat penggunaan /home menjadi tinggi karena masing-masing layanan akan menghasilkan beberapa log dan file konfigurasi. Insinyur Nutanix terus berupaya meningkatkan penggunaan /home. Jika tidak ada skenario di atas yang cocok dan ini memengaruhi pemutakhiran Prism Central, libatkan tim Dukungan Nutanix untuk membantu membersihkan /home secara manual dengan memangkas log.
Skenario 4
Karena masalah rotasi file log, penggunaan direktori log Adonis tinggi. Penggunaan direktori log ini tidak boleh lebih dari 1G. Untuk penerapan Scale-Out Prism Central, periksa penggunaan file di setiap VM Prism Central:
nutanix@pcvm:~/data/logs$ sudo du -h /home/nutanix/adonis/logs 6.1G /home/nutanix/adonis/logs/access 19G /home/nutanix
Skenario 5
Dalam kasus tertentu, catalina.out mungkin menghabiskan banyak ruang di VM Prism Central.
SSH ke Prism Central dan periksa apakah /home/nutanix/data/logs/catalina.out menghabiskan banyak ruang:
nutanix@PCVM:~$ allssh du -h /home/nutanix/data/logs/catalina.out
Skenario 6
Untuk PC 2022.9 ke atas, penggunaan inode yang tinggi di PCVM terlihat menyebabkan penggunaan partisi root yang tinggi
SSH ke pusat prisma dan jalankan perintah berikut untuk memverifikasi penggunaan inode:
nutanix@PCVM:~$ allssh df -i /
Larutan
Jika pemeriksaan melaporkan status PERINGATAN atau GAGAL, penggunaan disk berada di atas ambang batas dan memerlukan penyelidikan. Secara umum, pemanfaatan ruang dapat ditanyakan menggunakan df -h . Output di bawah ini menunjukkan titik pemasangan sebagai berikut:
- /dev/sdb1 adalah partisi root
- /dev/sdb3 adalah partisi rumah
- /dev/sdc1 adalah partisi disk data
nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 7.9G 0 7.9G 0% /dev tmpfs 7.9G 44K 7.9G 1% /dev/shm tmpfs 7.9G 6.1M 7.9G 1% /run tmpfs 7.9G 0 7.9G 0% /sys/fs/cgroup /dev/sdb1 9.8G 7.4G 2.3G 77% / /dev/sdb3 50G 8.5G 41G 18% /home /dev/sdc1 492G 150M 486G 1% /home/nutanix/data/stargate-storage/disks/NFS_2_0_267_5a298323_3c9f_4a6f_a265_10c4c1e6593e tmpfs 1.6G 0 1.6G 0% /run/user/1000 /dev/sde 98G 401M 93G 1% /home/nutanix/data/sys-storage/NFS_1_0_264_1f5cda9a_2b3f_4f49_b348_baeb0ae338b8 tmpfs 1.6G 0 1.6G 0% /run/user/0
Penggunaan disk data ( /dev/sdXX ) atau penggunaan multivdisk secara keseluruhan :
Pastikan jumlah VM yang didukung untuk ukuran Prism Central tertentu berada dalam batas (lihat Panduan Pusat Prism untuk versi Anda dari Portal Dukungan untuk mengetahui batasannya). Hubungi Dukungan Nutanix . Saat membuka kasus dukungan, lampirkan output dari perintah berikut ke kasus tersebut.
nutanix@pcvm$ allssh df -h nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check
Partisi rumah Prism Central VM ( /home ):
Periksa output NCC untuk menentukan VM Prism Central mana yang memiliki penggunaan tinggi, lalu lakukan hal berikut:
- Masuk ke VM Prism Central.
- Gunakan perintah cd untuk mengubah lokasi ke partisi /home.
- Buat daftar isi direktori berdasarkan ukuran menggunakan perintah di bawah ini:
nutanix@pcvm$ ls -al | sort -k5,5nr
Periksa output untuk setiap file besar yang tidak terpakai yang dapat dihapus.
- Jalankan perintah du di bawah ini untuk mencantumkan penggunaan setiap file dan subdirektori:
nutanix@pcvm$ sudo du -skxh * | sort -h
Periksa output dari subdirektori besar. Anda dapat menjalankan perintah du untuk setiap subdirektori yang dimaksud untuk mengidentifikasi lebih lanjut file besar yang tidak terpakai yang dapat dihapus.
- Di bawah ini adalah beberapa sub-direktori umum dari /home tempat kemungkinan besar terdapat file-file besar yang tidak terpakai:
- /home/nutanix/software_downloads/ - hapus semua versi lama selain versi yang sedang Anda tingkatkan.
- /home/nutanix/software_uncompressed/ - hapus versi lama apa pun selain versi yang sedang Anda tingkatkan.
- /home/nutanix/data/cores - menghapus jejak tumpukan lama yang tidak lagi diperlukan.
- /home/nutanix/data/log_collector/ - menghapus Log NCC lama dengan format NCC-logs-2018-07-20-11111111111111-1032057545.tar.
- /home/nutanix/foundation/isos/ - ISO lama.
- /home/nutanix/foundation/tmp/ - file sementara yang dapat dihapus.
Jika langkah-langkah di atas tidak menyelesaikan masalah atau jika masalahnya sesuai dengan salah satu skenario yang disajikan sebelumnya dalam artikel ini, ikuti langkah-langkah solusi yang diuraikan di bawah ini.
Partisi sistem root Prism Central VM ( / ) atau partisi CMSP ( /dev/sdXX ):
Pertimbangkan untuk melibatkan Dukungan Nutanix . Kumpulkan output dari perintah di bawah ini dan lampirkan ke kasus dukungan:
nutanix@pcvm$ allssh df -h nutanix@pcvm$ sudo du -h --max-depth=1 / 2>/dev/null nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check
skenario 1
klik disini untuk menampilkan informasi rinci dalam skenario ini:
Masalah ini telah diatasi dan diperbaiki dalam rilis: pc.2022.1, pc.2022.4, pc.2021.9.0.5 dan yang lebih baru.
Sebagai solusinya, hapus direktori yang tidak memiliki cluster terdaftar dengan versi yang sesuai.
- Temukan versi AOS dari semua PE yang terdaftar. Anda dapat melakukannya dari kolom Prism Central > Hardware > Clusters > AOS version.
- Cantumkan direktori konsol PE apache di /home/Apache/ www /console/
nutanix@pcvm$ sudo ls -lrth /home/apache/ www /console/el7.3-release-*
- Jika ada direktori konsol apache PE yang tidak sesuai dengan versi PE terdaftar, direktori tersebut harus aman untuk dibersihkan.
Jika Anda memerlukan bantuan lebih lanjut dalam pembersihan, pertimbangkan untuk melibatkan Dukungan Nutanix . Kumpulkan output dari perintah di bawah ini dan lampirkan ke kasus dukungan:
nutanix@pcvm$ ncli cluster info nutanix@pcvm$ allssh df -h nutanix@pcvm$ sudo du -h --max-depth=1 /home/apache/ www 2>/dev/null nutanix@pcvm$ cat ~/config/upgrade.history nutanix@pcvm$ ls -lrth /home/apache/ www /console/el7.3-release-* nutanix@pcvm$ du -sh /home/apache/ www /console/el7.3-release-*
Menghapus log sysstats lama
Jika Anda sudah memeriksa di semua tempat biasa tetapi masih perlu mengosongkan ruang, Anda bisa mendapatkan izin pelanggan untuk menghapus log sysstats lama. Periksa kembali apakah tidak ada kasus dukungan terbuka dengan RCA yang tertunda sebelum melanjutkan, karena data ini mungkin belum dikumpulkan.
nutanix@PCVM:~$ sudo du -h -d 1 /home/nutanix/data/logs | sort -h 4.0K /home/nutanix/data/logs/ecr 28K /home/nutanix/data/logs/work 5.5M /home/nutanix/data/logs/kafka 127M /home/nutanix/data/logs/cassandra 162M /home/nutanix/data/logs/data_providers 368M /home/nutanix/data/logs/ikat_access_logs 4.2G /home/nutanix/data/logs/sysstats 11G /home/nutanix/data/logs nutanix@PCVM:~$
Anda dapat menggunakan perintah berikut untuk menghapus log sysstats yang di-gzip lebih lama dari tanggal tertentu. Pada contoh di bawah, Anda akan menghapus log sysstats dari semua PCVM yang lebih lama dari 3 hari (atau 4320 menit).
nutanix@PCVM:~$ allssh "find ~/data/logs/sysstats -name '*.gz' -mmin +4320 -type f -exec rm '{}' +"
Skenario 2
Jika instans Prism Central Anda cocok dengan skenario ini, lihat Skenario KB-12707 #2 dan buka kasus dengan Dukungan Nutanix untuk mendapatkan bantuan dalam memulihkan masalah.
Skenario 3
klik disini untuk menampilkan informasi rinci dalam skenario ini:
Peningkatan VM Prism Central, peningkatan penggunaan disk, disebabkan oleh beberapa file Penginstal Prism Central. Kurangi penggunaan partisi pemutakhiran Prism Central VM dengan menghapus file Penginstal Prism Central yang tidak diperlukan.
Partisi /home/nutanix/upgrade ini dirancang untuk menampung file terkait upgrade. Jadi, file lain dalam direktori ini dapat dihapus.
Penggunaan partisi seperti yang tercantum dalam
df -h :
/dev/sde 30G 26G 4.1G 87%/home/nutanix/upgrade
Untuk memeriksa isi disk:
allssh "ls -latr /home/nutanix/upgrade/"
Untuk menghapus file yang tidak diinginkan, gunakan perintah di bawah ini:
rm -f /home/nutanix/upgrade/<file_to_be_removed>
Harap Dicatat: Jika Anda secara tidak sengaja menghapus Prism Central Upgrade di folder ini, masuk ke Prism Central melalui Browser Web, buka Pengaturan Prism Central --> Tingkatkan Prism Central --> Klik "X" di sebelah pemutakhiran perangkat lunak dan Unduh ulang paketnya.
Skenario 4
Nutanix menyadari masalah ini. Perbaikan untuk masalah ini akan tersedia pada rilis PC mendatang. Untuk solusinya, hubungi Dukungan Nutanix .
Skenario 5
Jika Anda melihat file log catalina.out memakan banyak ruang, gunakan perintah berikut untuk memulai ulang layanan prisma di PCVM.
klik disini untuk menampilkan informasi rinci dalam skenario ini:
nutanix@PCVM:~$ genesis stop prism; cluster start
Dalam beberapa kasus yang jarang terjadi, file catalina.out tidak akan secara otomatis mengosongkan ruang setelah pemimpin prisma digulingkan. Untuk memperbaikinya, hilangkan file log catalina.out secara manual setelah pemimpin prisma berpindah:
nutanix@PCVM:~$ echo "" > ~/data/logs/catalina.out
Untuk PCVM instans tunggal, lakukan perubahan ini saat layanan prisma dihentikan, lalu jalankan permulaan kluster.
Skenario 6
Ikuti KB-6082 untuk menghapus penggunaan inode.
Artikel Terkait
