Эта статья переведена автоматически. Щелкните здесь, чтобы просмотреть исходную версию на английском языке.
Описание
Проверка работоспособности NCC pcvm_disk_usage_check проверяет, находится ли объем использования диска или системного раздела в виртуальной машине Prism Central (ПК) в допустимых пределах.
Эта проверка состоит из следующих частей:
- Проверка использования отдельного диска с данными (добавлено в NCC 3.5.1):
- Если загрузка превышает 75% в течение нескольких часов, возвращается ПРЕДУПРЕЖДЕНИЕ для идентификации диска.
- Если загрузка превышает 90% в течение нескольких часов, для идентификации диска возвращается FAIL.
- Проверка общего использования диска с данными (добавлено в NCC 3.10.1):
- Если общее использование превышает 90% в течение нескольких часов, возвращается ПРЕДУПРЕЖДЕНИЕ.
- Проверка использования корневого раздела системы Prism Central VM (добавлено в NCC 3.9.4). Возвращает только сообщение FAIL, если использование раздела превышает 95%.
- Проверка использования домашнего раздела виртуальной машины Prism Central (добавлено в NCC 3.9.4):
- Если использование превышает 75%, возвращается ПРЕДУПРЕЖДЕНИЕ.
- Если использование превышает 90%, возвращается FAIL.
- Проверка использования раздела CMSP Prism Central VM (добавлено в NCC 3.10.1):
- Если использование превышает 75 %, возвращается ПРЕДУПРЕЖДЕНИЕ.
- Если использование превышает 90%, возвращается FAIL.
- Проверка использования раздела диска Prism Central VM Upgrade (добавлено в NCC 4.6.0):
- Если использование превышает 70%, возвращается FAIL.
- Эта проверка выполняется каждые 5 минут.
- Если происходит более 5 сбоев (30 минут), выдается критическое предупреждение.
Примечание . Если вы используете LCM-2.6 или LCM-2.6.0.1, сбор журналов LCM заполняет каталог /home, для решения проблемы обратитесь к KB-14671 .
Запуск проверки НКЦ
Запустите проверку NCC как часть полной проверки работоспособности NCC.
кликните сюда для отображения подробной информации ниже:
nutanix@pcvm$ ncc health_checks run_all
Или запустите проверку pcvm_disk_usage_check отдельно.
nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check
Вы также можете запустить проверки со страницы «Состояние» веб-консоли Prism: выберите «Действия» > «Выполнить проверки» . Выберите «Все проверки» и нажмите « Выполнить» .
По умолчанию эта проверка запланирована на каждые 5 минут.
Эта проверка создаст предупреждение после 5 последовательных сбоев в запланированные интервалы времени.
Примеры результатов
Для статуса: ПРОЙДЕН
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ PASS ] -------------------------------------------------------------------------------+ +---------------+ | State | Count | +---------------+ | Pass | 1 | | Total | 1 | +---------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Для статуса: WARN (на диске данных виртуальной машины Prism Central, например /dev/sdc1)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx disk usage exceeds warning limit 75 % for disks: /dev/sdc1(/home/nutanix/data/stargate-storage/disks/NFS_2_0_283_5a853328_a7fa_45a4_b3d2_6f91cffaa653). Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Для статуса: WARN (на виртуальной машине Prism Central в целом на MultiVDisk)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx overall MultiVDisk usage exceeds warning limit of 2321329924 KB. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Для статуса: FAIL (на диске данных виртуальной машины Prism Central, например /dev/sdc1)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx disk usage exceeds critical limit 90 % for disks: /dev/sdc1(/home/nutanix/data/stargate-storage/disks/NFS_2_0_283_5a853328_a7fa_45a4_b3d2_6f91cffaa653). Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Для статуса: FAIL (в корневом разделе, т. е. /)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: FAIL: PC VM root partition xxxx disk usage exceeds critical limit 95 % for disks: 97%. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------+ | State | Count | +-----------------+ | Fail | 1 | | Total | 1 | +-----------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Для статуса: WARN (в домашнем разделе виртуальной машины Prism Central, т. е. /home)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx home partition disk usage exceeds warning limit 75 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Для статуса: FAIL (в домашнем разделе виртуальной машины Prism Central, т. е. /home)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Prism Central VM xxxx home partition disk usage exceeds critical limit 90 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Для статуса: WARN (в разделе CMSP Prism Central VM, т. е. /dev/sde)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ WARN ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx: WARN: Platform disk space usage in Prism Central VM xxxx exceeds 75% for disk(s): /dev/sde Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list= xxxx +-----------------------+ | State | Count | +-----------------------+ | Warning | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Для статуса: FAIL (в разделе CMSP Prism Central VM, т. е. /dev/sde)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -------------------------------------------------------------------------------+ Detailed information for pcvm_disk_usage_check: Node xxxx : FAIL: Platform disk space usage in Prism Central VM xxxx exceeds 90% for disk(s): /dev/sde Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list= xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Для статуса: FAIL (в разделе диска обновления Prism Central VM, т. е. /home/nutanix/upgrade)
Running : health_checks system_checks pcvm_disk_usage_check [==================================================] 100% /health_checks/system_checks/pcvm_disk_usage_check [ FAIL ] -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+Detailed information for pcvm_disk_usage_check: Node xxxx: FAIL: Prism Central VM xxxx upgrade disk usage exceeds critical limit 70 %. Refer to KB 5228 (http://portal.nutanix.com/kb/5228) for details on pcvm_disk_usage_check or Recheck with: ncc health_checks system_checks pcvm_disk_usage_check --cvm_list=xxxx +-----------------------+ | State | Count | +-----------------------+ | Fail | 1 | | Total Plugins | 1 | +-----------------------+ Plugin output written to /home/nutanix/data/logs/ncc-output-latest.log
Примечание. Все команды в этой статье, выполняемые на ПК, предполагают, что вы входите в виртуальную машину ПК через SSH.
Проверка использования диска на виртуальной машине ПК
Ниже приведен пример проверки использования диска на виртуальной машине ПК.
кликните сюда чтобы отобразить пример ниже:
nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on /dev/sdb1 9.8G 7.2G 2.2G 78% / devtmpfs 7.9G 0 7.9G 0% /dev tmpfs 7.9G 16K 7.9G 1% /dev/shm tmpfs 7.9G 428K 7.9G 1% /run tmpfs 7.9G 0 7.9G 0% /sys/fs/cgroup /dev/sdb3 40G 4.4G 35G 12% /home /dev/sdc1 493G 431G 57G 69% /home/nutanix/data/stargate-storage/disks/NFS_1_0_450_823394be_0c7b_4f18_8335_71bae1bc6c82 tmpfs 1.6G 0 1.6G 0% /run/user/1000
Раздел для диска обновления будет выглядеть примерно так:
/dev/sde 30G 26G 4.1G 87% /home/nutanix/upgrade
Выходные сообщения
|
Проверить идентификатор
|
101059 |
|
Описание
|
Убедитесь, что использование дискового пространства на виртуальной машине Prism Central находится в допустимых пределах. |
|
Причины неудач
|
Высокая загрузка диска в виртуальной машине Prism Central. |
|
Резолюции
|
Дополнительные сведения см. в KB 5228. |
|
Влияние
|
В виртуальной машине Prism Central может не хватить места для хранения данных. |
|
Идентификатор оповещения
|
А101059 |
|
Название оповещения
|
Высокая загрузка диска Prism Central VM |
|
Предупреждающее сообщение
|
Использование IP- диска виртуальной машины Prism Central превышает предел предупреждения x % для дисков: disks .
Общий размер IP -адреса виртуальной машины Prism Central MultiVDisk превышает предел предупреждения в 2321329924 КБ.
Использование IP -диска Prism Central VM превышает критический предел x % для дисков: disks . |
|
Проверить идентификатор
|
200316 |
|
Описание
|
Проверяет, находится ли использование корневого раздела системы Prism Central в пределах порога, обеспечивающего бесперебойную работу. |
|
Причины неудач
|
Повышенное использование корневого раздела системы Prism Central VM из-за чрезмерного ведения журнала или незавершенной операции обслуживания. |
|
Резолюции
|
Сократите использование корневого раздела системы Prism Central VM, удалив все известные временные или ненужные файлы. Дополнительные сведения см. в KB 5228. |
|
Влияние
|
Если корневой раздел системы Prism Central VM активно используется, это может повлиять на некоторые операции обслуживания, такие как обновления. Если корневой раздел системы виртуальной машины Prism Central используется на 100%, службы могут остановиться и повлиять на функции управления кластером Prism Central. |
|
Идентификатор оповещения
|
А200316 |
|
Название оповещения
|
Высокий уровень использования пространства корневого раздела системы Prism Central VM
|
|
Предупреждающее сообщение
|
Использование дискового пространства для корневого раздела mount_path на объекте — ip_address превысило пороговое значение %. |
|
Проверить идентификатор
|
200317 |
|
Описание
|
Проверяет, находится ли использование домашнего раздела Prism Central в пределах порога, обеспечивающего бесперебойную работу. |
|
Причины неудач
|
Повышенное использование домашнего раздела виртуальной машины Prism Central из-за чрезмерного ведения журнала или незавершенной операции обслуживания. |
|
Резолюции
|
Сократите использование домашнего раздела виртуальной машины Prism Central, удалив все известные временные или ненужные файлы. Дополнительные сведения см. в KB 5228. |
|
Влияние
|
Если домашний раздел виртуальной машины Prism Central активно используется, это может повлиять на некоторые операции обслуживания, такие как обновления. Если домашний раздел виртуальной машины Prism Central загружен на 100 %, службы могут остановиться, что повлияет на доступность хранилища кластера. |
|
Идентификатор оповещения
|
А200317 |
|
Название оповещения
|
Высокая загрузка диска домашнего раздела виртуальной машины Prism Central |
|
Предупреждающее сообщение
|
Использование диска домашнего IP -раздела Prism Central VM превышает предел предупреждения x %.
Использование диска домашнего IP -раздела Prism Central VM превышает критический предел x %. |
|
Проверить идентификатор
|
200328 |
|
Описание
|
Убедитесь, что использование дискового пространства платформы на виртуальной машине Prism Central находится в допустимых пределах. |
|
Причины неудач
|
Высокая загрузка диска в виртуальной машине Prism Central. |
|
Резолюции
|
Дополнительные сведения см. в KB 5228. |
|
Влияние
|
В виртуальной машине Prism Central может не хватить места для хранения данных. |
|
Идентификатор оповещения
|
А200328 |
|
Название оповещения
|
Высокое использование дискового пространства платформы Prism Central VM |
|
Смарт-заголовок оповещения
|
Высокое использование дискового пространства платформы Prism Central VM svm_ip |
|
Предупреждающее сообщение
|
Использование дискового пространства платформы в виртуальной машине Prism Central svm_ip превышает процент_exceed % для дисков: disk_paths . |
|
Проверить идентификатор
|
200334 |
|
Описание
|
Проверяет, находится ли использование диска обновления Prism Central в пределах порога, обеспечивающего бесперебойность операций обновления. |
|
Причины неудач
|
Увеличение использования диска обновления виртуальной машины Prism Central из-за наличия нескольких файлов установщика Prism Central. |
|
Резолюции
|
Сократите использование раздела обновления виртуальной машины Prism Central, удалив ненужные файлы установщика Prism Central. Дополнительные сведения см. в KB 5228. |
|
Влияние
|
Если диск обновления виртуальной машины Prism Central сильно загружен, обновление Prism Central не удастся из-за нехватки места на диске обновления. |
|
Идентификатор оповещения
|
А200334 |
|
Название оповещения
|
Использование диска обновления Prism Central VM |
|
Предупреждающее сообщение
|
Использование диска обновления Prism Central VM <IP> превышает критический предел x% |
Сценарии, которые запускают проверку pcvm_disk_usage Предупреждение/Сбой в разделе /home
кликните сюда для отображения подробной информации на этом этапе:
Сценарий 1
Каталог /home на долго работающих экземплярах ПК может достигать максимального предела, поскольку старый код Prism не очищается:
nutanix@pcvm$ cat ~/config/upgrade.history Thu, 17 Dec 2020 08:51:43 el7.3-release-euphrates-5.19-stable-b2ab98294375c3f24f4d813b83ffcb43d85ebcc1 Tue, 19 Jan 2021 11:53:43 el7.3-release-euphrates-5.19-stable-aadf03fd084cb00f0414f84549b7ebbe9691a984 Wed, 24 Feb 2021 08:53:13 el7.3-release-euphrates-5.19-stable-ddf5fcc232b693ae965280668b10d0337ce99281 Mon, 19 Apr 2021 07:03:39 el7.3-release-euphrates-5.19-stable-6d6cec7de63c8fd117eeb59162031d03c2faf548 Mon, 26 Apr 2021 07:00:07 el7.3-release-euphrates-5.19-stable-3927829dad6a930e67f2f4a47e752df5a8f6c64d Tue, 01 Jun 2021 10:15:14 el7.3-release-euphrates-5.19-stable-db974bded2c0cd1037288ca7aa9aef6f5e441222 Mon, 14 Jun 2021 09:47:29 el7.3-release-fraser-6.0-stable-a48467616ee7c603e3cee3174779cf24bea227cb Thu, 01 Jul 2021 11:52:24 el7.3-release-fraser-6.0-stable-0601c1f41bad35bf4afe05da443947d34927c6ae Thu, 05 Aug 2021 09:16:28 el7.3-release-fraser-6.0-stable-b9dbe4a0b0876cffa23d268d8ddc7f272fa4a166 Wed, 01 Sep 2021 07:44:46 el7.3-release-fraser-6.0-stable-f948d198de58b1b1e511431dbef0b34d20c82739 nutanix@pcvm$ sudo du -sh /home/apache/ www /console/el7.3-release-* 304M el7.3-release-euphrates-5.18.1.1-stable-4546d2908cb8495b316deb45de63b7f5e52541a1 541M el7.3-release-euphrates-5.18.1.2-stable-b1b096696c0c034570545912a00d39746e901f36 675M el7.3-release-euphrates-5.19.1.5-stable-0f9e00f661436fef1af18a094089744f34ccd8c0 1.1G el7.3-release-euphrates-5.19.1.6-stable-a1bbd4f054f86b9d445bf2153b93c5d8d920cff7 629M el7.3-release-euphrates-5.19.1-stable-6edca74801c9db2ff2003780084bb12aa6aa29f4 694M el7.3-release-euphrates-5.19.2-stable-8e7da6324cbe5c34564ec51615b10a7737c6782a 1.1G el7.3-release-euphrates-5.19-stable-5282152e02f3ede70f0957217a62dc436c60b454 329M el7.3-release-euphrates-5.20.1.1-stable-726ea8f7dc4bca156d3e3f63cd7982eecb70c8cb 2.1G el7.3-release-fraser-6.0.1.1-stable-d9f94c47b63e3eb4179dd7a6e16202d5856581a6
Проблема решена и исправлена в выпусках: pc.2022.1, pc.2022.4, pc.2021.9.0.5 и более поздних версиях. Более подробную информацию и обходной путь можно найти в соответствующем разделе решения.
Удаление старых журналов системной статистики
Если вы проверили все обычные места, но вам все равно нужно очистить место, вы можете получить разрешение клиента на удаление старых журналов системной статистики. Прежде чем продолжить, дважды проверьте, нет ли открытых обращений в службу поддержки с ожидающими рассмотрения RCA, поскольку эти данные, возможно, еще не собраны.
nutanix@pcvm:~$ sudo du -h -d 1 /home/nutanix/data/logs | sort -h 4.0K /home/nutanix/data/logs/ecr 28K /home/nutanix/data/logs/work 5.5M /home/nutanix/data/logs/kafka 127M /home/nutanix/data/logs/cassandra 162M /home/nutanix/data/logs/data_providers 368M /home/nutanix/data/logs/ikat_access_logs 4.2G /home/nutanix/data/logs/sysstats 11G /home/nutanix/data/logs nutanix@pcvm:~$
Сценарий 2
Журналы Hyperkube (журналы кублетов) не очищаются после включения CMSP/микросервисов в Prism Central.
Если утилиты обслуживания кластера (CMU) были обновлены до версии 2.0.3 с помощью LCM, во включенной версии Scavenger отсутствует возможность очистки определенных журналов, связанных с микрослужбами CMSP. В результате этой проблемы пользователи могут обнаружить, что службы Prism Central не запускаются или что они не могут войти в пользовательский интерфейс ПК. Эта проблема сначала заполнит каталог /home/nutanix/data/sys-storage/NFS_.../ , после чего журналы kubelet начнут заполнять корневой раздел в папке /tmp.
nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 34G 0 34G 0% /dev tmpfs 34G 52K 34G 1% /dev/shm tmpfs 34G 3.4M 34G 1% /run tmpfs 34G 0 34G 0% /sys/fs/cgroup /dev/sdb2 9.8G 9.8G 0G 100% / /dev/sdb3 50G 33G 16G 68% /home tmpfs 6.7G 0 6.7G 0% /run/user/1000 /dev/sdf1 2.5T 21G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977956_4f2835fa_ab29_41c5_9110_483bff268ca0 /dev/sdg1 2.5T 13G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977958_10aa3f76_65a5_4fa6_8c88_7c70a4504f29 /dev/sde1 2.5T 20G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977954_df3a5816_b14b_4098_9b58_d90d670781a1 /dev/sdc1 2.5T 12G 2.4T 1% /home/nutanix/data/stargate-storage/disks/NFS_6708977948_1bd3cd0d_de69_4a98_a18d_6049945e261b /dev/sdd 98G 88G 5.4G 100% /home/nutanix/data/kafka/disks/NFS_6708977950_cd98c6f5_c534_486a_a939_4f40bffd986c
Мы можем обнаружить, что журналы Hyperkube.ntnx * генерируются и не вращаются правильно, когда включен CMSP. Проверьте, не переполнен ли каталог /home/nutanix/data/sys-storage/NFS.../kubelet/ чрезмерно этими журналами.
nutanix@pcvm:~$ du -hsx /home/nutanix/data/sys-storage/NFS*/kubelet/ 97.0G /home/nutanix/data/sys-storage/NFS_6708977950_cd98c6f5_c534_486a_a939_4f40bffd986c/kubelet/ nutanix@pcvm:~$ ls -l /home/nutanix/data/sys-storage/NFS_4_0_7036_6578653c_8a38_4af8_9649_42e7939f3656/kubelet/kubelet* | wc -l 98
При правильной работе мы должны увидеть, что в этой папке kubelet используется менее 10 ГБ, а количество файлов для kubelet* будет меньше ~ 15.
Кроме того, мы можем увидеть аналогичные журналы kubelet, заполняющие пространство в /tmp после того, как место в каталоге /home/nutanix/data/sys-storage/NFS... было исчерпано.
nutanix@pcvm:~$ sudo du -hsx /tmp 2.8G /tmp nutanix@pcvm:~/tmp$ sudo ls -larth /tmp/ total 2.8G ***truncated*** -rw-r--r--. 1 root root 109K Jun 23 05:49 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-054920.15123 -rw-r--r--. 1 root root 1.4K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055012.17214 -rw-r--r--. 1 root root 114K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055011.17214 -rw-r--r--. 1 root root 1.4K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055038.18217 -rw-r--r--. 1 root root 114K Jun 23 05:50 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055038.18217 -rw-r--r--. 1 root root 109K Jun 23 05:51 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055106.19499 -rw-r--r--. 1 root root 1.8G Jun 24 03:20 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230623-055151.21218 -rw-r--r--. 1 root root 60K Jun 24 15:06 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230623-055155.21218 -rw-r--r--. 1 root root 5.8M Jun 24 15:10 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230623-055152.21218 -rw-r--r--. 1 root root 990M Jun 24 15:10 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230624-032057.21218 -rw-r--r--. 1 root root 103K Jun 24 23:59 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230624-235940.170513 -rw-r--r--. 1 root root 3.3K Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-000123.175052 -rw-r--r--. 1 root root 6.7K Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-000120.175052 -rw-r--r--. 1 root root 2.8M Jun 25 00:01 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-000120.175052 lrwxrwxrwx. 1 root root 67 Jun 25 04:01 kubelet.INFO -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-040145.21556 lrwxrwxrwx. 1 root root 70 Jun 25 04:01 kubelet.WARNING -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-040145.21556 lrwxrwxrwx. 1 root root 68 Jun 25 04:01 kubelet.ERROR -> kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-040148.21556 -rw-r--r--. 1 root root 25K Jun 25 04:02 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.ERROR.20230625-040148.21556 -rw-r--r--. 1 root root 38K Jun 25 04:04 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.WARNING.20230625-040145.21556 -rw-r--r--. 1 root root 6.0M Jun 25 04:04 kubelet.ntnx-ww-xx-yy-zz-a-pcvm.root.log.INFO.20230625-040145.21556 -rw-------. 1 nutanix nutanix 0 Jun 26 08:37 .nstat.u1000 -rw-r-----. 1 nutanix nutanix 0 Jun 26 08:38 lcm_metrics_uploader_lock -rw-------. 1 nutanix nutanix 0 Jun 26 08:43 lazan_pc_greenlet_stack_dump -rw-------. 1 nutanix nutanix 0 Jun 26 08:43 uhura_greenlet_stack_dump drwxr-xr-x. 19 root root 4.0K Jun 26 08:44 .. drwx------. 2 nutanix nutanix 4.0K Jun 26 09:24 hsperfdata_nutanix drwxrwxrwt. 14 root root 4.0K Jun 26 09:35 .
Сценарий 3
Начиная с PC.2022.6 — создается и монтируется выделенный диск емкостью 30 ГБ для обновлений ПК. Этот виртуальный диск будет использоваться для загрузки и извлечения двоичных файлов обновлений из последовательных обновлений. Если диск обновления виртуальной машины Prism Central сильно загружен, обновление Prism Central завершится неудачей из-за нехватки места на диске обновления.
nutanix@NTNX-PCVM:$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 13G 0 13G 0% /dev tmpfs 13G 40K 13G 1% /dev/shm tmpfs 13G 2.6M 13G 1% /run tmpfs 13G 0 13G 0% /sys/fs/cgroup /dev/sdb1 9.8G 7.2G 2.5G 75% / /dev/sdb3 50G 14G 36G 28% /home /dev/sde 30G 26G 4.1G 87% /home/nutanix/upgrade /dev/sdc1 492G 147M 486G 1% /home/nutanix/data/stargate-storage/disks/NFS_2_0_271_960db4d2_45e7_4ef7_92bd_bdcd7e0b6aaf tmpfs 2.6G 0 2.6G 0% /run/user/1000
Примечание . Если в Prism Central включено несколько служб, таких как MSP, karbon, Calil, Flow и Objects, мы увидим, что использование /home будет высоким, поскольку каждая из служб будет генерировать несколько журналов и файлов конфигурации. Инженеры Nutanix постоянно работают над улучшением использования /home. Если ни один из приведенных выше сценариев не соответствует и это влияет на обновление Prism Central, обратитесь в службу поддержки Nutanix , чтобы вручную очистить /home путем обрезки журналов.
Сценарий 4
Из-за проблемы ротации файлов журналов использование каталога журналов Adonis активно. Размер этого каталога журналов не должен превышать 1 ГБ. Для масштабируемых развертываний Prism Central проверьте использование файлов на каждой виртуальной машине Prism Central:
nutanix@pcvm:~/data/logs$ sudo du -h /home/nutanix/adonis/logs 6.1G /home/nutanix/adonis/logs/access 19G /home/nutanix
Сценарий 5
В некоторых случаях catalina.out может занимать большой объем места на виртуальной машине Prism Central.
Подключитесь по SSH к Prism Central и проверьте, не занимает ли /home/nutanix/data/logs/catalina.out много места:
nutanix@PCVM:~$ allssh du -h /home/nutanix/data/logs/catalina.out
Сценарий 6
Для ПК 2022.9 и более поздних версий высокая загрузка индексного дескриптора в PCVM приводит к высокой загрузке корневого раздела.
Подключитесь по SSH к центральному узлу призмы и выполните следующие команды, чтобы проверить использование индексного дескриптора:
nutanix@PCVM:~$ allssh df -i /
Решение
Если проверка сообщает о состоянии WARN или FAIL, использование диска превышает пороговое значение и требует расследования. Как правило, использование пространства можно запросить с помощью df -h . В выводе ниже показаны точки монтирования следующим образом:
- /dev/sdb1 — корневой раздел
- /dev/sdb3 — домашний раздел
- /dev/sdc1 — раздел диска с данными.
nutanix@pcvm$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 7.9G 0 7.9G 0% /dev tmpfs 7.9G 44K 7.9G 1% /dev/shm tmpfs 7.9G 6.1M 7.9G 1% /run tmpfs 7.9G 0 7.9G 0% /sys/fs/cgroup /dev/sdb1 9.8G 7.4G 2.3G 77% / /dev/sdb3 50G 8.5G 41G 18% /home /dev/sdc1 492G 150M 486G 1% /home/nutanix/data/stargate-storage/disks/NFS_2_0_267_5a298323_3c9f_4a6f_a265_10c4c1e6593e tmpfs 1.6G 0 1.6G 0% /run/user/1000 /dev/sde 98G 401M 93G 1% /home/nutanix/data/sys-storage/NFS_1_0_264_1f5cda9a_2b3f_4f49_b348_baeb0ae338b8 tmpfs 1.6G 0 1.6G 0% /run/user/0
Использование диска с данными ( /dev/sdXX ) или общее использование нескольких виртуальных дисков :
Убедитесь, что количество виртуальных машин, поддерживаемых для конкретного размера Prism Central, находится в пределах лимита (ограничения см. в руководстве Prism Central для вашей версии на портале поддержки ). Обратитесь в службу поддержки Nutanix . Открывая обращение в службу поддержки, прикрепите к нему вывод следующих команд.
nutanix@pcvm$ allssh df -h nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check
Домашний раздел виртуальной машины Prism Central ( /home ):
Проверьте выходные данные NCC, чтобы определить, какая виртуальная машина Prism Central используется наиболее часто, затем выполните следующее:
- Войдите в виртуальную машину Prism Central.
- Используйте команду cd , чтобы изменить местоположение раздела /home.
- Перечислите содержимое каталога по размеру, используя команду ниже:
nutanix@pcvm$ ls -al | sort -k5,5nr
Проверьте выходные данные на наличие больших неиспользуемых файлов, которые можно удалить.
- Запустите команду du ниже, чтобы просмотреть использование каждого файла и подкаталога:
nutanix@pcvm$ sudo du -skxh * | sort -h
Изучите выходные данные больших подкаталогов. Вы можете запустить команду du для каждого рассматриваемого подкаталога, чтобы дополнительно определить большие неиспользуемые файлы, которые можно удалить.
- Ниже приведены некоторые распространенные подкаталоги /home , в которых могут находиться большие неиспользуемые файлы:
- /home/nutanix/software_downloads/ — удалите все старые версии, кроме тех, которые вы сейчас обновляете.
- /home/nutanix/software_uncompressed/ — удалите все старые версии, кроме тех, которые вы сейчас обновляете.
- /home/nutanix/data/cores — удалить старые трассировки стека, которые больше не нужны.
- /home/nutanix/data/log_collector/ — удалить старые журналы NCC в формате NCC-logs-2018-07-20-11111111111111-1032057545.tar.
- /home/nutanix/foundation/isos/ — старые ISO.
- /home/nutanix/foundation/tmp/ — временные файлы, которые можно удалить.
Если описанные выше действия не помогли решить проблему или если проблема соответствует одному из сценариев, представленных ранее в этой статье, выполните действия, описанные ниже.
Раздел корневой системы Prism Central VM ( / ) или раздел CMSP ( /dev/sdXX ):
Рассмотрите возможность обращения в службу поддержки Nutanix . Соберите выходные данные команд ниже и прикрепите их к запросу в службу поддержки:
nutanix@pcvm$ allssh df -h nutanix@pcvm$ sudo du -h --max-depth=1 / 2>/dev/null nutanix@pcvm$ ncc health_checks system_checks pcvm_disk_usage_check
Сценарий 1
кликните сюда для отображения подробной информации в этом сценарии:
Проблема решена и исправлена в выпусках: pc.2022.1, pc.2022.4, pc.2021.9.0.5 и более поздних версиях.
В качестве обходного пути удалите каталоги, в которых нет зарегистрированных кластеров соответствующей версии.
- Найдите версии AOS всех зарегистрированных PE. Это можно сделать в столбце Prism Central > Оборудование > Кластеры > Версия AOS.
- Перечислите каталоги консоли PE Apache по адресу /home/apache/ www /console/.
nutanix@pcvm$ sudo ls -lrth /home/apache/ www /console/el7.3-release-*
- Если присутствуют какие-либо каталоги консоли PE apache, которые не соответствуют зарегистрированным версиям PE, их можно безопасно очистить.
Если вам требуется дополнительная помощь по очистке, рассмотрите возможность обращения в службу поддержки Nutanix . Соберите выходные данные команд ниже и прикрепите их к запросу в службу поддержки:
nutanix@pcvm$ ncli cluster info nutanix@pcvm$ allssh df -h nutanix@pcvm$ sudo du -h --max-depth=1 /home/apache/ www 2>/dev/null nutanix@pcvm$ cat ~/config/upgrade.history nutanix@pcvm$ ls -lrth /home/apache/ www /console/el7.3-release-* nutanix@pcvm$ du -sh /home/apache/ www /console/el7.3-release-*
Удаление старых журналов системной статистики
Если вы проверили все обычные места, но вам все равно нужно очистить место, вы можете получить разрешение клиента на удаление старых журналов системной статистики. Прежде чем продолжить, дважды проверьте, нет ли открытых обращений в службу поддержки с ожидающими рассмотрения RCA, поскольку эти данные, возможно, еще не собраны.
nutanix@PCVM:~$ sudo du -h -d 1 /home/nutanix/data/logs | sort -h 4.0K /home/nutanix/data/logs/ecr 28K /home/nutanix/data/logs/work 5.5M /home/nutanix/data/logs/kafka 127M /home/nutanix/data/logs/cassandra 162M /home/nutanix/data/logs/data_providers 368M /home/nutanix/data/logs/ikat_access_logs 4.2G /home/nutanix/data/logs/sysstats 11G /home/nutanix/data/logs nutanix@PCVM:~$
Вы можете использовать следующую команду для удаления журналов системной статистики в сжатом виде, старше определенной даты. В приведенном ниже примере вы удалите журналы системной статистики со всех PCVM старше 3 дней (или 4320 минут).
nutanix@PCVM:~$ allssh "find ~/data/logs/sysstats -name '*.gz' -mmin +4320 -type f -exec rm '{}' +"
Сценарий 2
Если ваш экземпляр Prism Central соответствует этому сценарию, обратитесь к сценарию № 2 KB-12707 и обратитесь в службу поддержки Nutanix за помощью в устранении проблемы.
Сценарий 3
кликните сюда для отображения подробной информации в этом сценарии:
Увеличение использования виртуальной машины Prism Central и диска обновления связано с наличием нескольких файлов установщика Prism Central. Сократите использование раздела обновления виртуальной машины Prism Central, удалив ненужные файлы установщика Prism Central.
Этот раздел /home/nutanix/upgrade предназначен для хранения файлов, связанных с обновлением. Таким образом, любой другой файл в этом каталоге можно удалить.
Использование раздела указано в
df -h :
/dev/sde 30G 26G 4.1G 87%/home/nutanix/upgrade
Чтобы проверить содержимое диска:
allssh "ls -latr /home/nutanix/upgrade/"
Чтобы удалить ненужные файлы, используйте следующую команду:
rm -f /home/nutanix/upgrade/<file_to_be_removed>
Обратите внимание: если вы случайно удалили обновление Prism Central из этой папки, войдите в Prism Central через веб-браузер, перейдите в Настройки Prism Central --> Обновить Prism Central --> Нажмите «X» рядом с обновлением программного обеспечения и Перезагрузите пакет.
Сценарий 4
Nutanix знает об этой проблеме. Исправление этой проблемы будет доступно в будущей версии для ПК. Чтобы обойти проблему, обратитесь в службу поддержки Nutanix .
Сценарий 5
Если вы видите, что файл журнала catalina.out занимает много места, используйте следующую команду, чтобы перезапустить службу prism на PCVM.
кликните сюда для отображения подробной информации в этом сценарии:
nutanix@PCVM:~$ genesis stop prism; cluster start
В некоторых редких случаях файл catalina.out не очищает пространство автоматически после переворачивания лидера призмы. Чтобы это исправить, вручную обнулите файл журнала catalina.out после того, как лидер призмы перевернется:
nutanix@PCVM:~$ echo "" > ~/data/logs/catalina.out
Для одиночных экземпляров PCVM выполните это изменение, пока служба призмы остановлена, а затем запустите запуск кластера.
Сценарий 6
Следуйте KB-6082, чтобы очистить использование индексного дескриптора.
Статьи по Теме
