Tanım

Bu makalede, bir CVM (Denetleyici VM) aniden yeniden başlatıldığında sorunların nasıl giderileceği ve temel neden analizinin nasıl gerçekleştirileceği açıklanmaktadır.

CVM'de aranacak günlükler:

 dmesg /var/log/messages /home/log/messages (Yeniden başlatma sırasında ayrıntılı çekirdek günlüklerine sahip olacaktır.)

AHV ana bilgisayarında aranacak günlükler:

 /tmp/NTNX.serial.out.0 /var/tmp/NTNX.serial.out.0 /var/log/libvirt/qemu/NTNX-
  
  -
   
  
   -CVM.log
   
  
  
  
 

ESXi'nin içinde aranacak günlükler:

 /vmfs/volumes/NTNX-local-ds-
  
  -
   
  
   /ServiceVM_Centos/ServiceVM_Centos.0.out /vmfs/volumes/NTNX-local-ds-
    
   
    -
     
    
     /ServiceVM_Centos/vmware.log /var/log/vmksummary.log
     
    
    
    
   
   
   
  
  
  
 

Yeniden başlatma sırasında CVM'nin bellek/işlemci kullanımını/disk gecikmesini incelemek için /home/nutanix/data/logs/sysstats günlükleri altındaki sistem istatistikleri incelenebilir. Günlüklerin UTC zaman damgasında olduğunu unutmayın.

 /home/nutanix/data/logs/sysstats/meminfo.INFO
/home/nutanix/data/logs/sysstats/mpstat.INFO
/home/nutanix/data/logs/sysstats/iostat.INFO

Çözüm

Örnekler

1. CVM komutu son yeniden başlatma :

    nutanix@cvm$ son yeniden başlatma
   sistem önyüklemesini yeniden başlatın 2.6.32-279.9.1.e 23 Aralık Pazartesi 09:40 - 12:16 (02:36)

2. CVM /var/log/messages ve kern.log'da günlükler:

    23 Aralık 09:40:06 NTNX-CVM-A çekirdeği: fioinf /dev/fct0'ın oluşturulması bekleniyor
   23 Aralık 09:40:06 NTNX-CVM-A çekirdeği: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: probed fct0
   23 Aralık 09:40:06 NTNX-CVM-A çekirdeği: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: sektör_size=512
   23 Aralık 09:40:06 NTNX-CVM-A çekirdeği: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: Cihaz, blok cihaz olarak çalışıyor.
   23 Aralık 09:40:06 NTNX-CVM-A çekirdeği: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: kanal aralığı verilerini [2 .. 2047] olarak ayarlama
   23 Aralık 09:40:06 NTNX-CVM-A çekirdeği: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: *** Temiz olmayan kapatma algılandı, günlük yeniden taranıyor. ***
   23 Aralık 09:40:06 NTNX-CVM-A çekirdeği: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: *** Bu işlem birkaç dakika sürebilir.              ***
   23 Aralık 09:40:06 NTNX-CVM-A çekirdeği: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: ************************ ***************************
   23 Aralık 09:40:06 NTNX-CVM-A çekirdeği: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: Elektrik kesintisi algılandı
   23 Aralık 09:40:06 NTNX-CVM-A çekirdeği: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: Temiz olmayan kapatmanın ardından başarıyla yeniden eklendi.  (AP: 1942+228114432)
   23 Aralık 09:40:06 NTNX-CVM-A çekirdeği: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: Blok aygıtı oluşturuluyor fioa: major: 252 minör: 0 sektör boyutu: 512...
   23 Aralık 09:40:06 NTNX-CVM-A çekirdeği: fioa: fioa1

3. ESXi günlükleri /vmfs/volumes/xxxxxxxx-xxxxxxxx-xxxx-xxxxxxxxxxxx/ServiceVM*/vmware.log :

    2013-12-23T17:35:25.959Z| vcpu-0| I120: CPU sıfırlama: yumuşak (mod 1)
   2013-12-23T17:35:25.960Z| vcpu-2| I120: CPU sıfırlama: yumuşak (mod 1)
   2013-12-23T17:35:25.960Z| vcpu-7| I120: CPU sıfırlama: yumuşak (mod 1)
   2013-12-23T17:35:25.960Z| vcpu-1| I120: CPU sıfırlama: yumuşak (mod 1)
   2013-12-23T17:35:25.960Z| vcpu-5| I120: CPU sıfırlama: yumuşak (mod 1)
   2013-12-23T17:35:25.960Z| vcpu-4| I120: CPU sıfırlama: yumuşak (mod 1)
   2013-12-23T17:35:25.960Z| vcpu-3| I120: CPU sıfırlama: yumuşak (mod 1)
   2013-12-23T17:35:25.960Z| vcpu-6| I120: CPU sıfırlama: yumuşak (mod 1)

   
   VCentre'dan başlatılan CVM'de "Konuk İşletim Sistemini Yeniden Başlat", cvm'nin vmware.log dosyasında aşağıdaki imzayla sonuçlanır
   (CVM, AOS Yükseltme veya cvm_shutdown komutu aracılığıyla Nutanix Kümesi içinden sorunsuz bir şekilde yeniden başlatıldıysa bu girişin vmware.log'da oluşmayacağını unutmayın)

    2022-03-01T23:24:30.638Z| vmx| I125: Araçlar: 'OS_Reboot' (durum = 2) durum değişikliği isteği gönderiliyor
   

   
   VCentre'dan başlatılan CVM'deki "Konuk İşletim Sistemini Kapatma" işlemi, CVM'nin vmware.log dosyasında aşağıdaki imzanın oluşmasına neden olur:
   (CVM, AOS Yükseltme veya cvm_shutdown komutu aracılığıyla Nutanix Kümesi içinden sorunsuz bir şekilde kapatılmışsa bu girişin vmware.log'da oluşmayacağını unutmayın)

    2022-03-02T00:22:15.448Z| vmx| I125: Araçlar: 'OS_Halt' (durum = 1) durum değişikliği isteği gönderiliyor
   

   
   Başka bir vmware.log örneği (VMware hata numarası 676321'e dayanmaktadır):

    2013-07-17T22:35:53.907Z| vcpu-0| W110: MONİTÖR PANİĞİ: vcpu-7:ASSERT vmcore/exts/hv/vt/hv-vt.c:1933 bugNr=676321
   2013-07-17T22:35:53.907Z| vcpu-0| I120: Derleme yapısı-838463 ile çekirdek dökümü
   2013-07-17T22:35:53.907Z| vcpu-6| I120: vcpu-6'dan çıkılıyor
   2013-07-17T22:35:53.907Z| vcpu-4| I120: vcpu-7'den çıkılıyor
   2013-07-17T22:35:53.907Z| vcpu-0| W110: "/vmfs/volumes/50630639-74fa7b98-830d-0025904c8605/ServiceVM-1.24_Ubuntu/vmmcores.gz" monitör çekirdek dosyası yazılıyor
   

   
   Başka bir vmware.log (EPT yanlış yapılandırması - VMware KB 1036775 ):

    2013-05-03T17:27:43.262Z| vcpu-1| MONİTÖR PANİĞİ: vcpu-0:EPT yanlış yapılandırması: PA b49b405b0
   2013-05-03T17:27:43.262Z| vcpu-1| Derleme build-623860 ile çekirdek dökümü
   2013-05-03T17:27:43.262Z| vcpu-1| "/vmfs/volumes/51548019-3efd569e-d4d8-002590840e37/ServiceVM/vmmcores.gz" monitör çekirdek dosyası yazılıyor
   2013-05-03T17:27:43.262Z| vcpu-6| Vpu-6'dan çıkılıyor
   

4. ESXi günlükleri /vmfs/volumes/xxxxxxxx-xxxxxxxx-xxxx-xxxxxxxxxxxx/ServiceVM*/ServiceVM.out.0 , bu örnekte jbd2/fio driver sorununu gösteriyor:

    son sysfs dosyası: /sys/devices/pci0000:00/0000:00:10.0/host2/target2:0:2/2:0:2:0/block/sdb/queue/scheduler CPU 0 Bağlı modüller: be2iscsi iscsi_boot_sysfs bnx2i cnic uio cxgb4i cxgb4 cxgb3i libcxgbi cxgb3 mdio ib_iser rdma_cm ib_cm iw_cm ib_sa ib_mad ib_core ib_addr i Pid: 3403, comm: jbd2/fioa1-8 Bozuk: P --------------- 2.6.32 -279.9.1.el6.nutanix.x86_64 #1 VMware, Inc. VMware Sanal Platform/440BX Masaüstü RIP: 0010:[
       
       ] [
        
       
        ] jbd2_journal_commit_transaction+0x120c/0x14b0 [jbd2] RSP: 0018:ffff880431113d30 EFLAGS: 00010246 RAX: 0000000000000008 RBX: ffff8804330d9800 RCX: 0000000 000000000 RDX: ffff8804060ff000 RSI: 0000000000000286 RDI: ffff8804330d9800 RBP: ffff880431113e60 R08: ffff880028216e90 R09: ffff880028216f00 : 00000000000000018 R11: 0000000000000000 R12: 0000000000000000 R13: ffff8804330d9800 R14: ffff8804220a4ae0 R15: ffff8804330d9898 FS: 0000000000000000(0000) GS:ffff880028200000(0 000) knlGS:0000000000000000 CS: 0010 DS: 0018 ES: 0018 CR0: 000000008005003b CR2: 00007fbeca8a4916 CR3: 0000000378ef3000 CR4: 00000000000006f0 DR0: 0000000000000000 DR1: 0000000000000000 DR2: 00000000000000000 DR3: 0000000000000000 DR6: 00000000ffff0ff0 DR7: 0000000000000400 Süreç jbd 2/fioa1-8 (pid: 3403, threadinfo ffff880431112000, görev ffff8804220a4ae0) Yığın:
        
       
       
       
      

5. Yakın zamanda meydana gelen herhangi bir sabit sürücü arızası için hades.out günlüğünü kontrol edin.

   SSD meta veri sürücüsü ise AOS, CVM'yi yeniden başlatmaya zorlar. Ayrıca, AOS'un bir HDD'yi çıkarmada sorun yaşaması ve hades tarafından zorla çıkarma işleminin tetiklenmesi durumunda CVM yeniden başlatılacaktır.

   ServiceVM.out.0 çıktısı ( Hata 735768 ):

    fs/jbd2/commit.c:353 adresinde çekirdek HATASI! geçersiz işlem kodu: 0000 [#1] SMP son sysfs dosyası: /sys/devices/pci0000:00/0000:00:15.0/0000:03:00.0/host2/port-2:2/end_device-2:2/target2: 0:2/2:0:2:0/blok/sdc/dev CPU 1

   
   ESXi ana bilgisayarının yeniden başlatılıp başlatılmadığını görmek için ESXi vmksummary :

    [root@esxi]# grep -i önyükleme /var/log/vmksummary.log 2015-02-07T02:54:17Z önyükleme durdurma: Ana bilgisayar kapanıyor 2015-02-07T08:43:04Z önyükleme durdurma: Ana bilgisayar önyükleme yaptı

   
   AHV:

    Hipervizördeki Denetim günlüklerinden Sistem Önyükleme günlükleri
   
    11277 type=SYSTEM_BOOT msg=audit(1556350213.112:4): pid=4405 uid=0 auid=4294967295 ses=4294967295 subj=system_u:system_r:initrc_t:s0 msg='init exe="/sbin/telinit" ana bilgisayar adı=? adres=? terminal=konsol res=başarı'
   11278 type=SYSTEM_RUNLEVEL msg=audit(1556350213.112:5): pid=4405 uid=0 auid=4294967295 ses=4294967295 subj=system_u:system_r:initrc_t:s0 msg='eski düzey=N yeni düzey=3 exe = " /sbin/telinit" ana bilgisayar adı=? adres=? terminal=konsol res=başarı ss'
   

   
   CVM:

    nutanix@cvm$ sudo grep -i "kmsg başlatıldı" /home/log/messages 2015-01-30T10:59:39.957663-08:00 NTNX-A-CVM çekirdeği: imklog 5.8.10, günlük kaynağı = /proc/kmsg başladı. 2015-02-07T00:46:55.164530-08:00 NTNX-A-CVM çekirdeği: imklog 5.8.10, günlük kaynağı = /proc/kmsg başlatıldı.

   
   Daha fazla bilgi edinmek için birkaç satır yukarıya kaydırın:

    nutanix@cvm$ sudo grep -i -B 5 "kmsg başlatıldı" /home/log/messages 2015-02-06T18:00:02.539862-08:00 NTNX-C-CVM audispd: düğüm=NTNX-C-CVM türü= EOE msg=denetim(1423274402.537:7498): 2015-02-06T18:00:02.578946-08:00 NTNX-C-CVM denetleme: düğüm=NTNX-C-CVM türü=SYSCALL msg=denetim(1423274402.577:7499): arch =c000003e sistem çağrısı=90 başarı=evet çıkış=0 a0=251b700 a1=1ed a2=7f1ddb485a08 a3=7fff69bbdf30 öğeler=1 ppid=8586 pid=9025 auid=1000 uid=1000 gid=1000 euid=1000 suid=1000 fsuid =1000 egid=1000 sgid=1000 fsgid=1000 tty=(none) ses=150912 comm = "python" exe = "/usr/bin/python" subj=unconfined_u:unconfined_r:unconfined_t:s0-s0:c0.c1023 key=" perm_mod" 2015-02-06T18:00:02.585360-08:00 NTNX-C-CVM denetimi: düğüm=NTNX-C-CVM türü=SYSCALL msg=denetim(1423274402.584:7500): arch=c000003e sistem çağrısı=90 başarı=evet çıkış=0 a0=2894550 a1=1ed a2=7f1e2b955a08 a3=7fff0e433a48 items=1 ppid=8570 pid=9026 auid=1000 uid=1000 gid=1000 euid=1000 suid=1000 fsuid=1000 egid=1000 sgid=1 000 fsgid= 1000 tty=(none) ses=150897 comm = "python" exe = "/usr/bin/python" subj=unconfined_u:unconfined_r:unconfined_t:s0-s0:c0.c1023 key = "perm_mod" 2015-02-06T18: 00:02.585392-08:00 NTNX-C-CVM denetimi: düğüm=NTNX-C-CVM türü=YOL msg=denetim(1423274402.584:7500): öğe=0 name="/home/nutanix/.python-eggs/simplejson -3.4.1-py2.6-linux-x86_64.egg-tmp/simplejson/tmp0cHe62.$extract" inode=365 dev=09:02 mode=0100600 ouid=1000 ogid=1000 rdev=00:00 obj=unconfined_u: object_r:user_home_t:s0 nametype=NORMAL

CVM'nin daha yeni sürümleri için "kmsg başlatıldı" yerine "rsyslogd.*start" komutunu grep etmeniz gerekebilir:

 nutanix@cvm$ sudo grep -i "rsyslogd.*start" /var/log/messages 2018-03-06T03:28:13.648673-07:00 NTNX-C-CVM rsyslogd: [origin yazılımı = "rsyslogd" swVersion = " 7.4.7" x-pid = "1273" x-info = "http:// www .rsyslog.com"] başlangıç 2018-03-06T03:28:13.647853-07:00 NTNX-C-CVM rsyslogd-2307: uyarı: ~ eylemi kullanımdan kaldırıldı, bunun yerine 'stop' ifadesini kullanmayı düşünün [http:// www .rsyslog.com/e/2307 adresini deneyin] 2018-03-06T03:28:13.651494-07:00 NTNX-C-CVM systemd [1]: Sistem Günlüğü Hizmeti başlatıldı.

Ek Bilgiler

• Nutanix KB 1252 - Nutanix Portalındaki orijinal belge
• Nutanix açılış sayfası
• Lenovo ISG Destek Planı - ThinkAgile HX Cihazı ve Lenovo Converged HX Serisi