Leírás

Ez a cikk a hibaelhárítást és a kiváltó okok elemzését ismerteti, amikor egy CVM (Controller VM) hirtelen újraindul.

A CVM-ben keresendő naplók:

 dmesg /var/log/messages /home/log/messages (Újraindításkor meglesznek a részletes kernelnaplók.)

Az AHV gazdagépen keresendő naplók:

 /tmp/NTNX.serial.out.0 /var/tmp/NTNX.serial.out.0 /var/log/libvirt/qemu/NTNX-
  
  -
   
  
   -CVM.log
   
  
  
  
 

Az ESXi belsejében keresendő naplók:

 /vmfs/volumes/NTNX-local-ds-
  
  -
   
  
   /ServiceVM_Centos/ServiceVM_Centos.0.out /vmfs/volumes/NTNX-local-ds-
    
   
    -
     
    
     /ServiceVM_Centos/vmware.log /var/log/vmksummary.log
     
    
    
    
   
   
   
  
  
  
 

A CVM memória-/cpu-használatának/lemezkésleltetésének áttekintéséhez az újraindításkor a /home/nutanix/data/logs/sysstats logs alatt található rendszerstatisztika megtekinthető. Ne feledje, hogy a naplók UTC időbélyegűek.

 /home/nutanix/data/logs/sysstats/meminfo.INFO
/home/nutanix/data/logs/sysstats/mpstat.INFO
/home/nutanix/data/logs/sysstats/iostat.INFO

Megoldás

Példák

1. CVM parancs utolsó újraindítás :

    nutanix@cvm$ utolsó újraindítás
   újraindítás rendszerindítás 2.6.32-279.9.1.e H december 23. 09:40 - 12:16 (02:36)

2. Naplózás a CVM-ben /var/log/messages és kern.log :

    december 23. 09:40:06 NTNX-CVM-A kernel: fioinf Várakozás a /dev/fct0 létrehozására
   december 23. 09:40:06 NTNX-CVM-A kernel: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: probed fct0
   december 23. 09:40:06 NTNX-CVM-A kernel: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: sector_size=512
   Dec 23 09:40:06 NTNX-CVM-A kernel: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: Az eszköz blokkeszközként működik.
   december 23. 09:40:06 NTNX-CVM-A kernel: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: a csatornatartomány adatainak beállítása [2 .. 2047]
   Dec 23 09:40:06 NTNX-CVM-A kernel: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: *** tisztátalan leállás észlelve, újraellenőrzési napló. ***
   december 23. 09:40:06 NTNX-CVM-A kernel: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: *** ez több percig is eltarthat.              ***
   december 23. 09:40:06 NTNX-CVM-A kernel: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: **************************** ******************************
   december 23. 09:40:06 NTNX-CVM-A kernel: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: Áramkimaradás észlelve
   Dec 23 09:40:06 NTNX-CVM-A kernel: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: Sikeresen újracsatlakoztatva a tisztátalan leállítás után.  (AP: 1942+228114432)
   Dec 23 09:40:06 NTNX-CVM-A kernel: fioinf Fusion-io ioDrive2 365GB 0000:03:00.0: Blokkeszköz létrehozása fioa: fő: 252 minor: 0 szektorméret: 512...
   december 23. 09:40:06 NTNX-CVM-A kernel: fioa: fioa1

3. Az ESXi naplók /vmfs/volumes/xxxxxxxx-xxxxxxxx-xxxx-xxxxxxxxxxxx/ServiceVM*/vmware.log :

    2013-12-23T17:35:25.959Z| vcpu-0| I120: CPU visszaállítása: lágy (1. mód)
   2013-12-23T17:35:25.960Z| vcpu-2| I120: CPU visszaállítása: lágy (1. mód)
   2013-12-23T17:35:25.960Z| vcpu-7| I120: CPU visszaállítása: lágy (1. mód)
   2013-12-23T17:35:25.960Z| vcpu-1| I120: CPU visszaállítása: lágy (1. mód)
   2013-12-23T17:35:25.960Z| vcpu-5| I120: CPU visszaállítása: lágy (1. mód)
   2013-12-23T17:35:25.960Z| vcpu-4| I120: CPU visszaállítása: lágy (1. mód)
   2013-12-23T17:35:25.960Z| vcpu-3| I120: CPU visszaállítása: lágy (1. mód)
   2013-12-23T17:35:25.960Z| vcpu-6| I120: CPU visszaállítása: lágy (1. mód)

   
   A vCentre-ből kezdeményezett „Vendég OS újraindítása” a CVM-en a következő aláírást eredményezi a cvm vmware.log fájljában
   (Ne feledje, hogy ez a bejegyzés nem jelenik meg a vmware.log fájlban, ha a CVM-et a Nutanix Clusterből AOS Upgrade vagy cvm_shutdown paranccsal kecsesen újraindították)

    2022-03-01T23:24:30.638Z| vmx| I125: Eszközök: 'OS_Reboot' (állapot = 2) állapotváltoztatási kérés küldése
   

   
   A vCentre-ből kezdeményezett "Shutdown Guest OS" a CVM-en a következő aláírást eredményezi a cvm vmware.log fájljában
   (Ne feledje, hogy ez a bejegyzés nem jelenik meg a vmware.log fájlban, ha a CVM-et kecsesen leállították a Nutanix Clusteren belül az AOS Upgrade vagy a cvm_shutdown paranccsal)

    2022-03-02T00:22:15.448Z| vmx| I125: Eszközök: 'OS_Halt' (állapot = 1) állapotváltoztatási kérés küldése
   

   
   Egy másik példa a vmware.log fájlra (a VMware 676321-es bugja alapján):

    2013-07-17T22:35:53.907Z| vcpu-0| W110: MONITOR PANIC: vcpu-7:ASSERT vmcore/exts/hv/vt/hv-vt.c:1933 bugNr=676321
   2013-07-17T22:35:53.907Z| vcpu-0| I120: Core dump build build-838463
   2013-07-17T22:35:53.907Z| vcpu-6| I120: Kilépés a vcpu-6-ból
   2013-07-17T22:35:53.907Z| vcpu-4| I120: Kilépés a vcpu-7-ből
   2013-07-17T22:35:53.907Z| vcpu-0| W110: "/vmfs/volumes/50630639-74fa7b98-830d-0025904c8605/ServiceVM-1.24_Ubuntu/vmmcores.gz" monitor alapfájljának írása
   

   
   Egy másik vmware.log (EPT hibás konfiguráció - VMware KB 1036775 ):

    2013-05-03T17:27:43.262Z| vcpu-1| MONITOR PANIC: vcpu-0:EPT rossz konfiguráció: PA b49b405b0
   2013-05-03T17:27:43.262Z| vcpu-1| Maglerakás, build-623860
   2013-05-03T17:27:43.262Z| vcpu-1| A "/vmfs/volumes/51548019-3efd569e-d4d8-002590840e37/ServiceVM/vmmcores.gz" monitor alapfájljának írása
   2013-05-03T17:27:43.262Z| vcpu-6| Kilépés a vcpu-6-ból
   

4. Az ESXi naplók /vmfs/volumes/xxxxxxxx-xxxxxxxx-xxxx-xxxxxxxxxxxx/ServiceVM*/ServiceVM.out.0 a jbd2/fio driver problémáját jelenítik meg a példában:

    utolsó sysfs fájl: /sys/devices/pci0000:00/0000:00:10.0/host2/target2:0:2/2:0:2:0/block/sdb/queue/scheduler CPU 0 Modulok linkelve: be2iscsi iscsi_boot_sysfs bnx2i cnic uio cxgb4i cxgb4 cxgb3i libcxgbi cxgb3 mdio ib_iser rdma_cm ib_cm iw_cm ib_sa ib_mad ib_core ib_addr i Pid: 3403,-fijb-2: Pid-1-2 ------- 2.6.32 -279.9.1.el6.nutanix.x86_64 #1 VMware, Inc. VMware Virtual Platform/440BX Desktop RIP: 0010:[
       
       ] [
        
       
        ] jbd2_journal_commit_transaction+0x120c/0x14b0 [jbd2] RSP: 0018:ffff880431113d30 EFLAGS: 00010246 RAX: 0000000000000008 RBX: ffff8804330d9800 RCX: 0000000000000000 RDX: ffff8804060ff000 RSI: 0000000000000286 RDI: ffff8804330d9800 RBP: ffff880431113e60 R08: ffff880028216e90 R09: ffff880028216f00 R10: 0000000000000018 R11: 0000000000000000 R12: 00000000000000 R13: FFFF8804330D9800 R14: FFFF8804220A4AE0 R15: FFFF8804330D9898 FS: 00000000000000 (0000) GS: FFFFF8002820000 (0000) Knlgs: 000000000000000000000000000000000000000000000000 000000000000 0000000000000000000000 (0000000000) 0018 ES: 0018 CR0: 000000008005003B CR2: 00007FBECA8A4916 CR3: 0000000378EF3000 CR4: 000000000006F0 DR0: 0000000000000000 DR1: 00000000000000000 bd2/fioa1-8 (pid: 3403, threadinfo ffff880431112000, ffff8804220a4ae0 feladat) Verem:
        
       
       
       
      

5. Bármilyen közelmúltbeli merevlemez-meghibásodás esetén ellenőrizze a hades.out naplót.

   Ha az SSD a metaadat-meghajtó, az AOS újraindításra kényszeríti a CVM-et. Továbbá, ha az AOS-nek gondjai vannak a merevlemez eltávolításával, és a hades kényszerített eltávolítást vált ki, a CVM újraindul.

   A ServiceVM.out.0 kimenete ( 735768. hiba ):

    kernel BUG az fs/jbd2/commit.c:353 címen! érvénytelen műveleti kód: 0000 [#1] SMP utolsó sysfs fájl: /sys/devices/pci0000:00/0000:00:15.0/0000:03:00.0/host2/port-2:2/end_device-2:2/target2: 0:2/2:0:2:0/block/sdc/dev CPU 1

   
   ESXi vmksummary, hogy ellenőrizze, hogy az ESXi gazdagép újraindult-e:

    [root@esxi]# grep -i bootstop /var/log/vmksummary.log 2015-02-07T02:54:17Z bootstop: A gazdagép kikapcsol 2015-02-07T08:43:04Z bootstop: A gazdagép elindult

   
   AHV:

    A rendszerindítási naplók a hypervisor auditnaplóiból
   
    11277 type=SYSTEM_BOOT msg=audit(1556350213.112:4): pid=4405 uid=0 auid=4294967295 ses=4294967295 subj=system_u:system_r:initrc_t:sbinnitms?exeg_t:'s0 addr=? terminál=konzol res=siker'
   11278 type=SYSTEM_RUNLEVEL msg=audit(1556350213.112:5): pid=4405 uid=0 auid=4294967295 ses=4294967295 subj=system_u:system_r:initrc_N=exe=0-level3_n:s /sbin/telinit" hostname=? addr=? terminál=konzol res=siker ss'
   

   
   CVM:

    nutanix@cvm$ sudo grep -i "kmsg start" /home/log/messages 2015-01-30T10:59:39.957663-08:00 NTNX-A-CVM kernel: imklog 5.8.10, naplóforrás = /proc/kmsg elindult. 2015-02-07T00:46:55.164530-08:00 NTNX-A-CVM kernel: imklog 5.8.10, naplóforrás = /proc/kmsg elindulva.

   
   További információért görgessen néhány sort feljebb:

    nutanix@cvm$ sudo grep -i -B 5 "kmsg start" /home/log/messages 2015-02-06T18:00:02.539862-08:00 NTNX-C-CVM audispd: node=NTNX-C-CVM type= EOE msg=audit(1423274402.537:7498): 2015-02-06T18:00:02.578946-08:00 NTNX-C-CVM audispd: csomópont=NTNX-C-CVM type=audit(1423274402.537:7498): arch =c000003e syscall=90 sikeres 0 fsuid=1000 egid=1000 sgid=1000 fsgid=1000 tty=(none) ses=150912 comm="python" exe="/usr/bin/python" subj=unconfined_u:unconfined_r:unconfined_t:s0-s0:c0.c10 perm_mod" 2015-02-06T18:00:02.585360-08:00 NTNX-C-CVM audispd: node=NTNX-C-CVM type=SYSCALL msg=audit(1423274402.584:02.585360) kilépés=0 a0=2894550 a1=1ed a2=7f1e2b955a08 a3=7fff0e433a48 tételek=1 ppid=8570 pid=9026 auid=1000 uid=1000 gid=1000 euid=010eg10 sgid=1000 fsgid= 1000 tty=(none) ses=150897 comm="python" exe="/usr/bin/python" subj=unconfined_u:unconfined_r:unconfined_t:s0-s0:c0.c1023 key="perm_mod" 2015-08:06T 00:02.585392-08:00 NTNX-C-CVM audispd: node=NTNX-C-CVM type=PATH msg=audit(1423274402.584:7500): item=0 name="/home/nutanix/.pythonix/.pythoneggs -3.4.1-py2.6-linux-x86_64.egg-tmp/simplejson/tmp0cHe62.$extract" inode=365 dev=09:02 mode=0100600 ouid=1000 ogid=1000 rdev=00:00 obju:unconfined_ object_r:user_home_t:s0 nametype=NORMAL

A CVM újabb verzióinál előfordulhat, hogy a grep parancsot kell megadnia az "rsyslogd.*start" helyett a "kmsg start" helyett:

 nutanix@cvm$ sudo grep -i "rsyslogd.*start" /var/log/messages 2018-03-06T03:28:13.648673-07:00 NTNX-C-CVM rsyslogd: [origin software="rsyslogd=" swVersion 7.4.7" x-pid="1273" x-info="http:// www .rsyslog.com"] start 2018-03-06T03:28:13.647853-07:00 NTNX-C-CVM rsyslogd-2307: figyelmeztetés: ~ művelet elavult, fontolja meg a „stop” utasítás használatát [próbálja meg http:// www .rsyslog.com/e/2307 ] 2018-03-06T03:28:13.651494-07:00 NTNX-C-CVM systemd [1]: Rendszernaplózási szolgáltatás elindítása.

további információ

• Nutanix KB 1252 - Eredeti dokumentum a Nutanix portálon
• Nutanix nyitóoldal
• Lenovo ISG támogatási terv – ThinkAgile HX Appliance és Lenovo Converged HX Series