Hosts in error after upgrading to 5.12.0

Community Support
22

Hello @madko,

As it seems that running the probes manually in the hypervisor is working for you, let’s check why the frontend is not able to start them remotely. We need you to execute the following command in the frontend:

ssh localhost-kvm 'if [ -x /var/tmp/one/im/run_monitord_client ]; then /var/tmp/one/im/run_monitord_client kvm 0 localhost-kvm; else exit 42; fi' < <XML>

Replacing the <XML> by a path to a file containing the XML you used for starting the probes manually.

Also, could you share the output of tree /var/lib/one/remotes?

23

same result, it works manually, no error

/var/lib/one/remotes
├── auth
│   ├── dummy
│   │   └── authenticate
│   ├── ldap
│   │   └── authenticate
│   ├── plain
│   │   └── authenticate
│   ├── server_cipher
│   │   └── authenticate
│   ├── server_x509
│   │   └── authenticate
│   ├── ssh
│   │   └── authenticate
│   └── x509
│       └── authenticate
├── create_container_image.sh
├── create_docker_image.sh
├── datastore
│   ├── ceph
│   │   ├── ceph_utils.sh
│   │   ├── clone
│   │   ├── cp
│   │   ├── export
│   │   ├── mkfs
│   │   ├── monitor
│   │   ├── rm
│   │   ├── snap_delete
│   │   ├── snap_flatten
│   │   ├── snap_revert
│   │   └── stat
│   ├── dev
│   │   ├── clone
│   │   ├── cp
│   │   ├── mkfs
│   │   ├── monitor
│   │   ├── rm
│   │   ├── snap_delete
│   │   ├── snap_flatten
│   │   ├── snap_revert
│   │   └── stat
│   ├── docker_downloader.sh
│   ├── downloader.sh
│   ├── dummy
│   │   ├── clone
│   │   ├── cp
│   │   ├── export
│   │   ├── mkfs
│   │   ├── monitor
│   │   ├── rm
│   │   ├── snap_delete
│   │   ├── snap_flatten
│   │   ├── snap_revert
│   │   └── stat
│   ├── fs
│   │   ├── clone
│   │   ├── cp
│   │   ├── export
│   │   ├── mkfs
│   │   ├── monitor
│   │   ├── rm
│   │   ├── snap_delete
│   │   ├── snap_flatten
│   │   ├── snap_revert
│   │   └── stat
│   ├── iscsi_libvirt
│   │   ├── clone
│   │   ├── cp
│   │   ├── mkfs
│   │   ├── monitor
│   │   ├── rm
│   │   ├── snap_delete
│   │   ├── snap_flatten
│   │   ├── snap_revert
│   │   └── stat
│   ├── libfs.sh
│   ├── lxd_downloader.sh
│   ├── url.rb
│   ├── vcenter
│   │   ├── clone
│   │   ├── cp
│   │   ├── export
│   │   ├── mkfs
│   │   ├── monitor
│   │   ├── rm
│   │   ├── snap_delete
│   │   ├── snap_flatten
│   │   ├── snap_revert
│   │   └── stat
│   ├── vcenter_downloader.rb
│   ├── vcenter_uploader.rb
│   └── xpath.rb
├── etc
│   ├── datastore
│   │   ├── ceph
│   │   │   └── ceph.conf
│   │   └── fs
│   │       └── fs.conf
│   ├── im
│   │   ├── firecracker-probes.d
│   │   │   └── probe_db.conf
│   │   ├── kvm-probes.d
│   │   │   ├── pci.conf
│   │   │   └── probe_db.conf
│   │   └── lxd-probes.d
│   │       ├── pci.conf
│   │       └── probe_db.conf
│   ├── market
│   │   └── http
│   │       └── http.conf
│   ├── tm
│   │   └── fs_lvm
│   │       └── fs_lvm.conf
│   ├── vmm
│   │   ├── firecracker
│   │   │   └── firecrackerrc
│   │   ├── kvm
│   │   │   ├── kvmrc
│   │   │   └── kvmrc.rpmsave
│   │   ├── lxd
│   │   │   └── lxdrc
│   │   └── vcenter
│   │       └── vcenterrc
│   └── vnm
│       └── OpenNebulaNetwork.conf
├── etc.2019-12-12 [error opening dir]
├── etc.2020-06-24 [error opening dir]
├── hooks
│   ├── alias_ip
│   │   └── alias_ip.rb
│   ├── ft
│   │   ├── fence_host.sh
│   │   └── host_error.rb
│   ├── raft
│   │   └── vip.sh
│   └── vcenter
│       ├── create_vcenter_net.rb
│       ├── delete_vcenter_net.rb
│       └── templates
│           ├── create_vcenter_net.tmpl
│           ├── delete_vcenter_net.tmpl
│           └── instantiate_vcenter_net.tmpl
├── im
│   ├── az.d
│   │   ├── monitord-client_control.sh
│   │   └── monitord-client.rb
│   ├── az-probes.d
│   │   ├── host
│   │   │   ├── beacon
│   │   │   │   └── monitord-client-shepherd_local.sh
│   │   │   ├── monitor
│   │   │   │   └── probe_host_monitor.rb
│   │   │   └── system
│   │   │       └── probe_host_system.rb
│   │   └── vm
│   │       ├── monitor
│   │       │   └── probe_vm_monitor.rb
│   │       └── status
│   │           └── probe_vm_status.rb
│   ├── dummy.d
│   │   ├── monitord-client_control.sh
│   │   └── monitord-client.rb
│   ├── dummy-probes.d
│   │   ├── host
│   │   │   ├── beacon
│   │   │   │   ├── date.sh
│   │   │   │   └── monitord-client-shepherd_local.sh
│   │   │   ├── monitor
│   │   │   │   └── monitor.rb
│   │   │   └── system
│   │   │       └── system.rb
│   │   └── vm
│   │       ├── monitor
│   │       │   └── monitor.rb
│   │       └── status
│   ├── ec2.d
│   │   ├── monitord-client_control.sh
│   │   └── monitord-client.rb
│   ├── ec2-probes.d
│   │   ├── host
│   │   │   ├── beacon
│   │   │   │   └── monitord-client-shepherd_local.sh
│   │   │   ├── monitor
│   │   │   │   └── probe_host_monitor.rb
│   │   │   └── system
│   │   │       └── probe_host_system.rb
│   │   └── vm
│   │       ├── monitor
│   │       │   └── probe_vm_monitor.rb
│   │       └── status
│   │           └── probe_vm_status.rb
│   ├── firecracker.d
│   │   ├── monitord-client_control.sh
│   │   └── monitord-client.rb
│   ├── firecracker-probes.d
│   │   ├── host
│   │   │   ├── beacon
│   │   │   │   ├── date.sh
│   │   │   │   └── monitord-client-shepherd.sh
│   │   │   ├── monitor
│   │   │   │   ├── linux_usage.rb
│   │   │   │   └── numa_usage.rb
│   │   │   └── system
│   │   │       ├── architecture.sh
│   │   │       ├── cpu.sh
│   │   │       ├── linux_host.rb
│   │   │       ├── monitor_ds.rb
│   │   │       ├── name.sh
│   │   │       ├── numa_host.rb
│   │   │       └── version.sh
│   │   └── vm
│   │       ├── monitor
│   │       │   ├── monitor_ds_vm.rb
│   │       │   └── poll.rb
│   │       └── status
│   │           └── state.rb
│   ├── kvm.d
│   │   ├── monitord-client_control.sh
│   │   └── monitord-client.rb
│   ├── kvm-probes.d
│   │   ├── host
│   │   │   ├── beacon
│   │   │   │   ├── date.sh
│   │   │   │   └── monitord-client-shepherd.sh
│   │   │   ├── monitor
│   │   │   │   ├── linux_usage.rb
│   │   │   │   └── numa_usage.rb
│   │   │   └── system
│   │   │       ├── architecture.sh
│   │   │       ├── cpu.sh
│   │   │       ├── linux_host.rb
│   │   │       ├── machines_models.rb
│   │   │       ├── monitor_ds.rb
│   │   │       ├── name.sh
│   │   │       ├── numa_host.rb
│   │   │       ├── pci.rb
│   │   │       ├── version.sh
│   │   │       └── wild_vm.rb
│   │   └── vm
│   │       ├── monitor
│   │       │   ├── monitor_ds_vm.rb
│   │       │   └── poll.rb
│   │       └── status
│   │           └── state.rb
│   ├── lib
│   │   ├── domain.rb
│   │   ├── firecracker.rb
│   │   ├── kvm.rb
│   │   ├── linux.rb
│   │   ├── lxd.rb
│   │   ├── monitord_client.rb
│   │   ├── numa_common.rb
│   │   ├── probe_db.rb
│   │   ├── process_list.rb
│   │   ├── vcenter_cluster.rb
│   │   └── vcenter_monitor.rb
│   ├── lxd.d
│   │   ├── monitord-client_control.sh
│   │   └── monitord-client.rb
│   ├── lxd-probes.d
│   │   ├── host
│   │   │   ├── beacon
│   │   │   │   ├── date.sh
│   │   │   │   └── monitord-client-shepherd.sh
│   │   │   ├── monitor
│   │   │   │   ├── linux_usage.rb
│   │   │   │   └── numa_usage.rb
│   │   │   └── system
│   │   │       ├── architecture.sh
│   │   │       ├── cpu.sh
│   │   │       ├── linux_host.rb
│   │   │       ├── monitor_ds.rb
│   │   │       ├── name.sh
│   │   │       ├── numa_host.rb
│   │   │       ├── pci.rb
│   │   │       ├── profiles.sh
│   │   │       ├── version.sh
│   │   │       └── wild_vm.rb
│   │   └── vm
│   │       ├── monitor
│   │       │   ├── monitor_ds_vm.rb
│   │       │   └── poll.rb
│   │       └── status
│   │           └── state.rb
│   ├── one.d
│   │   ├── monitord-client_control.sh
│   │   └── monitord-client.rb
│   ├── one-probes.d
│   │   ├── host
│   │   │   ├── beacon
│   │   │   │   └── monitord-client-shepherd_local.sh
│   │   │   ├── monitor
│   │   │   │   └── probe_host_monitor.rb
│   │   │   └── system
│   │   │       └── probe_host_system.rb
│   │   └── vm
│   │       ├── monitor
│   │       │   └── probe_vm_monitor.rb
│   │       └── status
│   │           └── probe_vm_status.rb
│   ├── packet.d
│   │   ├── monitord-client_control.sh
│   │   └── monitord-client.rb
│   ├── packet-probes.d
│   │   ├── host
│   │   │   ├── beacon
│   │   │   │   └── monitord-client-shepherd_local.sh
│   │   │   ├── monitor
│   │   │   │   └── probe_host_monitor.rb
│   │   │   └── system
│   │   │       └── probe_host_system.rb
│   │   └── vm
│   │       ├── monitor
│   │       │   └── probe_vm_monitor.rb
│   │       └── status
│   │           └── probe_vm_status.rb
│   ├── run_monitord_client
│   ├── stop_monitord_client
│   └── vcenter.d
│       └── monitord-client_control.sh
├── ipam
│   ├── dummy
│   │   ├── allocate_address
│   │   ├── free_address
│   │   ├── get_address
│   │   ├── register_address_range
│   │   └── unregister_address_range
│   └── packet
│       ├── allocate_address
│       ├── free_address
│       ├── get_address
│       ├── register_address_range
│       └── unregister_address_range
├── market
│   ├── common
│   │   └── lxd.rb
│   ├── dockerhub
│   │   ├── delete
│   │   ├── import
│   │   └── monitor
│   ├── http
│   │   ├── delete
│   │   ├── import
│   │   └── monitor
│   ├── linuxcontainers
│   │   ├── delete
│   │   ├── import
│   │   └── monitor
│   ├── one
│   │   ├── delete
│   │   ├── import
│   │   └── monitor
│   ├── s3
│   │   ├── delete
│   │   ├── import
│   │   ├── monitor
│   │   └── S3.rb
│   └── turnkeylinux
│       ├── delete
│       ├── import
│       └── monitor
├── pm
│   ├── dummy
│   │   ├── cancel
│   │   ├── deploy
│   │   ├── poll
│   │   ├── reboot
│   │   ├── reset
│   │   └── shutdown
│   ├── ec2
│   │   ├── cancel
│   │   ├── deploy
│   │   ├── poll
│   │   ├── reboot
│   │   ├── reset
│   │   └── shutdown
│   └── packet
│       ├── cancel
│       ├── deploy
│       ├── poll
│       ├── reboot
│       ├── reset
│       └── shutdown
├── scripts_common.rb
├── scripts_common.sh
├── tm
│   ├── ceph
│   │   ├── clone
│   │   ├── clone.ssh
│   │   ├── context
│   │   ├── cpds
│   │   ├── cpds.ssh
│   │   ├── delete
│   │   ├── delete.ssh
│   │   ├── failmigrate
│   │   ├── ln
│   │   ├── ln.ssh
│   │   ├── mkimage
│   │   ├── mkswap
│   │   ├── monitor
│   │   ├── mv
│   │   ├── mvds
│   │   ├── mvds.ssh
│   │   ├── postmigrate
│   │   ├── premigrate
│   │   ├── resize
│   │   ├── resize.ssh
│   │   ├── snap_create
│   │   ├── snap_create_live
│   │   ├── snap_delete
│   │   └── snap_revert
│   ├── dev
│   │   ├── clone
│   │   ├── cpds
│   │   ├── delete
│   │   ├── failmigrate
│   │   ├── ln
│   │   ├── mv
│   │   ├── mvds
│   │   ├── postmigrate
│   │   ├── premigrate
│   │   ├── resize
│   │   ├── snap_create
│   │   ├── snap_create_live
│   │   ├── snap_delete
│   │   └── snap_revert
│   ├── dummy
│   │   ├── clone
│   │   ├── context
│   │   ├── cpds
│   │   ├── delete
│   │   ├── failmigrate
│   │   ├── ln
│   │   ├── mkimage
│   │   ├── mkswap
│   │   ├── monitor
│   │   ├── mv
│   │   ├── mvds
│   │   ├── postmigrate
│   │   ├── premigrate
│   │   ├── resize
│   │   ├── snap_create
│   │   ├── snap_create_live
│   │   ├── snap_delete
│   │   └── snap_revert
│   ├── fs_lvm
│   │   ├── activate
│   │   ├── clone
│   │   ├── context
│   │   ├── cpds
│   │   ├── delete
│   │   ├── failmigrate
│   │   ├── ln
│   │   ├── mkimage
│   │   ├── mkswap
│   │   ├── monitor
│   │   ├── mv
│   │   ├── mvds
│   │   ├── postmigrate
│   │   ├── premigrate
│   │   ├── resize
│   │   ├── snap_create
│   │   ├── snap_create_live
│   │   ├── snap_delete
│   │   └── snap_revert
│   ├── iscsi_libvirt
│   │   ├── clone
│   │   ├── cpds
│   │   ├── delete
│   │   ├── failmigrate
│   │   ├── ln
│   │   ├── mv
│   │   ├── mvds
│   │   ├── postmigrate
│   │   ├── premigrate
│   │   ├── resize
│   │   ├── snap_create
│   │   ├── snap_create_live
│   │   ├── snap_delete
│   │   └── snap_revert
│   ├── qcow2
│   │   ├── clone
│   │   ├── clone.ssh
│   │   ├── context
│   │   ├── cpds
│   │   ├── cpds.ssh
│   │   ├── delete
│   │   ├── failmigrate
│   │   ├── ln
│   │   ├── ln.ssh
│   │   ├── mkimage
│   │   ├── mkswap
│   │   ├── monitor
│   │   ├── mv
│   │   ├── mvds
│   │   ├── mvds.ssh
│   │   ├── mv.ssh
│   │   ├── postmigrate
│   │   ├── premigrate
│   │   ├── resize
│   │   ├── snap_create
│   │   ├── snap_create_live
│   │   ├── snap_create_live.ssh
│   │   ├── snap_create.ssh
│   │   ├── snap_delete
│   │   ├── snap_delete.ssh
│   │   ├── snap_revert
│   │   └── snap_revert.ssh
│   ├── shared
│   │   ├── clone
│   │   ├── context
│   │   ├── cpds
│   │   ├── delete
│   │   ├── failmigrate
│   │   ├── ln
│   │   ├── ln.ssh
│   │   ├── mkimage
│   │   ├── mkswap
│   │   ├── monitor
│   │   ├── mv
│   │   ├── mvds
│   │   ├── mvds.ssh
│   │   ├── postmigrate
│   │   ├── premigrate
│   │   ├── resize
│   │   ├── snap_create
│   │   ├── snap_create_live
│   │   ├── snap_delete
│   │   └── snap_revert
│   ├── ssh
│   │   ├── clone
│   │   ├── context
│   │   ├── cpds
│   │   ├── delete
│   │   ├── failmigrate
│   │   ├── ln
│   │   ├── mkimage
│   │   ├── mkswap
│   │   ├── monitor
│   │   ├── monitor_ds
│   │   ├── mv
│   │   ├── mvds
│   │   ├── postmigrate
│   │   ├── premigrate
│   │   ├── resize
│   │   ├── snap_create
│   │   ├── snap_create_live
│   │   ├── snap_delete
│   │   └── snap_revert
│   ├── tm_common.sh
│   └── vcenter
│       ├── clone
│       ├── context
│       ├── cpds
│       ├── delete
│       ├── failmigrate
│       ├── ln
│       ├── mkimage
│       ├── mkswap
│       ├── monitor
│       ├── mv
│       ├── mvds
│       ├── postmigrate
│       ├── premigrate
│       ├── resize
│       ├── snap_create
│       ├── snap_create_live
│       ├── snap_delete
│       └── snap_revert
├── VERSION
├── vmm
│   ├── az
│   │   ├── attach_disk
│   │   ├── attach_nic
│   │   ├── cancel
│   │   ├── deploy
│   │   ├── detach_disk
│   │   ├── detach_nic
│   │   ├── migrate
│   │   ├── prereconfigure
│   │   ├── reboot
│   │   ├── reconfigure
│   │   ├── reset
│   │   ├── resize_disk
│   │   ├── restore
│   │   ├── save
│   │   ├── shutdown
│   │   ├── snapshot_create
│   │   ├── snapshot_delete
│   │   └── snapshot_revert
│   ├── ec2
│   │   ├── attach_disk
│   │   ├── attach_nic
│   │   ├── cancel
│   │   ├── deploy
│   │   ├── detach_disk
│   │   ├── detach_nic
│   │   ├── migrate
│   │   ├── prereconfigure
│   │   ├── reboot
│   │   ├── reconfigure
│   │   ├── reset
│   │   ├── resize_disk
│   │   ├── restore
│   │   ├── save
│   │   ├── shutdown
│   │   ├── snapshot_create
│   │   ├── snapshot_delete
│   │   └── snapshot_revert
│   ├── firecracker
│   │   ├── cancel
│   │   ├── client.rb
│   │   ├── command.rb
│   │   ├── deploy
│   │   ├── map_context
│   │   ├── microvm.rb
│   │   ├── opennebula_vm.rb
│   │   └── shutdown
│   ├── kvm
│   │   ├── attach_disk
│   │   ├── attach_nic
│   │   ├── attach_nic.rpmsave
│   │   ├── cancel
│   │   ├── deploy
│   │   ├── detach_disk
│   │   ├── detach_nic
│   │   ├── kvmrc.rpmsave
│   │   ├── migrate
│   │   ├── migrate_local
│   │   ├── prereconfigure
│   │   ├── reboot
│   │   ├── reconfigure
│   │   ├── reset
│   │   ├── resize_disk
│   │   ├── restore
│   │   ├── restore.ceph
│   │   ├── save
│   │   ├── save.ceph
│   │   ├── shutdown
│   │   ├── snapshot_create
│   │   ├── snapshot_delete
│   │   └── snapshot_revert
│   ├── lib
│   │   └── command.rb
│   ├── lxd
│   │   ├── attach_disk
│   │   ├── attach_nic
│   │   ├── cancel
│   │   ├── client.rb
│   │   ├── command.rb
│   │   ├── container.rb
│   │   ├── deploy
│   │   ├── detach_disk
│   │   ├── detach_nic
│   │   ├── mapper.rb
│   │   ├── migrate
│   │   ├── migrate_local
│   │   ├── opennebula_vm.rb
│   │   ├── prereconfigure
│   │   ├── qcow2.rb
│   │   ├── raw.rb
│   │   ├── rbd.rb
│   │   ├── reboot
│   │   ├── reconfigure
│   │   ├── reset
│   │   ├── resize_disk
│   │   ├── restore
│   │   ├── save
│   │   ├── shutdown
│   │   ├── snapshot_create
│   │   ├── snapshot_delete
│   │   └── snapshot_revert
│   ├── one
│   │   ├── attach_disk
│   │   ├── attach_nic
│   │   ├── cancel
│   │   ├── deploy
│   │   ├── detach_disk
│   │   ├── detach_nic
│   │   ├── migrate
│   │   ├── migrate_local
│   │   ├── prereconfigure
│   │   ├── reboot
│   │   ├── reconfigure
│   │   ├── reset
│   │   ├── restore
│   │   ├── save
│   │   ├── shutdown
│   │   ├── snapshot_create
│   │   ├── snapshot_delete
│   │   └── snapshot_revert
│   ├── packet
│   │   ├── cancel
│   │   ├── deploy
│   │   ├── poll
│   │   ├── reboot
│   │   ├── reset
│   │   └── shutdown
│   └── vcenter
│       ├── attach_disk
│       ├── attach_nic
│       ├── cancel
│       ├── deploy
│       ├── detach_disk
│       ├── detach_nic
│       ├── migrate
│       ├── poll
│       ├── preconfigure
│       ├── prereconfigure
│       ├── reboot
│       ├── reconfigure
│       ├── reset
│       ├── resize_disk
│       ├── restore
│       ├── save
│       ├── shutdown
│       ├── snapshot_create
│       ├── snapshot_delete
│       └── snapshot_revert
└── vnm
    ├── 802.1Q
    │   ├── clean
    │   ├── clean.d
    │   ├── post
    │   ├── post.d
    │   ├── pre
    │   ├── pre.d
    │   ├── update_sg
    │   └── vlan_tag_driver.rb
    ├── address.rb
    ├── alias_sdnat
    │   ├── AliasSDNAT.rb
    │   ├── clean
    │   ├── post
    │   ├── pre
    │   └── update_sg
    ├── bridge
    │   ├── clean
    │   ├── clean.d
    │   ├── post
    │   ├── post.d
    │   ├── pre
    │   ├── pre.d
    │   └── update_sg
    ├── command.rb
    ├── dummy
    │   ├── clean
    │   ├── clean.d
    │   ├── post
    │   ├── post.d
    │   ├── pre
    │   ├── pre.d
    │   └── update_sg
    ├── ebtables
    │   ├── clean
    │   ├── clean.d
    │   ├── Ebtables.rb
    │   ├── post
    │   ├── post.d
    │   ├── pre
    │   ├── pre.d
    │   └── update_sg
    ├── fw
    │   ├── clean
    │   ├── clean.d
    │   ├── post
    │   ├── post.d
    │   ├── pre
    │   ├── pre.d
    │   └── update_sg
    ├── hooks
    │   ├── clean
    │   │   └── firecracker
    │   ├── post
    │   └── pre
    │       └── firecracker
    ├── nic.rb
    ├── no_vlan.rb
    ├── ovswitch
    │   ├── clean
    │   ├── clean.d
    │   ├── OpenvSwitch.rb
    │   ├── OpenvSwitch.rb.rpmsave
    │   ├── post
    │   ├── post.d
    │   ├── pre
    │   ├── pre.d
    │   └── update_sg
    ├── ovswitch_vxlan
    │   ├── clean
    │   ├── clean.d
    │   ├── OpenvSwitchVXLAN.rb
    │   ├── post
    │   ├── post.d
    │   ├── pre
    │   ├── pre.d
    │   └── update_sg
    ├── security_groups_iptables.rb
    ├── security_groups.rb
    ├── sg_driver.rb
    ├── vcenter
    │   ├── clean
    │   ├── clean.d
    │   ├── post
    │   ├── post.d
    │   ├── pre
    │   ├── pre.d
    │   └── update_sg
    ├── vlan.rb
    ├── vm.rb
    ├── vnm_driver.rb
    ├── vnmmad.rb
    └── vxlan
        ├── clean
        ├── clean.d
        ├── post
        ├── post.d
        ├── pre
        ├── pre.d
        ├── update_sg
        ├── vxlan_driver.rb
        └── vxlan.rb

193 directories, 628 files
24

Hello everyone
I have the same problem as @madko
But, in my case, the command "echo
'<MONITOR_CONFIGURATION><DATASTORE_LOCATION><![CDATA[/var/lib/one/… " suggested by @cgonzalez has in some way ‘revived’ / ‘reactivated’ the communication between nodes and frontend.

25

Hi

I have realized we have a similar problem (Onehost sync fails during 5.12.0 upgrade) upgrading from 5.8.1 to 5.12.0 in CentOS 7.8

Also we can confirm the this command executed from any hyp:

echo '<MONITOR_CONFIGURATION><DATASTORE_LOCATION><![CDATA[/var/lib/one//datastores]]></DATASTORE_LOCATION><DB><CONNECTIONS><![CDATA[15]]></CONNECTIONS></DB><HOST_MONITORING_EXPIRATION_TIME><![CDATA[43200]]></HOST_MONITORING_EXPIRATION_TIME><IM_MAD><ARGUMENTS><![CDATA[-r 3 -t 15 -w 90 kvm]]></ARGUMENTS><EXECUTABLE><![CDATA[one_im_ssh]]></EXECUTABLE><NAME><![CDATA[kvm]]></NAME><SUNSTONE_NAME><![CDATA[KVM]]></SUNSTONE_NAME><THREADS><![CDATA[0]]></THREADS></IM_MAD><IM_MAD><ARGUMENTS><![CDATA[-r 3 -t 15 -w 90 lxd]]></ARGUMENTS><EXECUTABLE><![CDATA[one_im_ssh]]></EXECUTABLE><NAME><![CDATA[lxd]]></NAME><SUNSTONE_NAME><![CDATA[LXD]]></SUNSTONE_NAME><THREADS><![CDATA[0]]></THREADS></IM_MAD><IM_MAD><ARGUMENTS><![CDATA[-r 3 -t 15 -w 90 firecracker]]></ARGUMENTS><EXECUTABLE><![CDATA[one_im_ssh]]></EXECUTABLE><NAME><![CDATA[firecracker]]></NAME><SUNSTONE_NAME><![CDATA[Firecracker]]></SUNSTONE_NAME><THREADS><![CDATA[0]]></THREADS></IM_MAD><IM_MAD><ARGUMENTS><![CDATA[-c -t 15 -r 0 vcenter]]></ARGUMENTS><EXECUTABLE><![CDATA[one_im_sh]]></EXECUTABLE><NAME><![CDATA[vcenter]]></NAME><SUNSTONE_NAME><![CDATA[VMWare vCenter]]></SUNSTONE_NAME></IM_MAD><IM_MAD><ARGUMENTS><![CDATA[-r 3 -t 15 -w 90 dummy]]></ARGUMENTS><EXECUTABLE><![CDATA[one_im_sh]]></EXECUTABLE><NAME><![CDATA[dummy]]></NAME><SUNSTONE_NAME><![CDATA[Dummy]]></SUNSTONE_NAME><THREADS><![CDATA[0]]></THREADS></IM_MAD><LOG><DEBUG_LEVEL><![CDATA[3]]></DEBUG_LEVEL><SYSTEM><![CDATA[FILE]]></SYSTEM></LOG><MANAGER_TIMER><![CDATA[15]]></MANAGER_TIMER><MONITORING_INTERVAL_HOST><![CDATA[180]]></MONITORING_INTERVAL_HOST><NETWORK><ADDRESS><![CDATA[0.0.0.0]]></ADDRESS><MONITOR_ADDRESS><![CDATA[auto]]></MONITOR_ADDRESS><PORT><![CDATA[4124]]></PORT><PRIKEY><![CDATA[]]></PRIKEY><PUBKEY><![CDATA[]]></PUBKEY><THREADS><![CDATA[8]]></THREADS></NETWORK><PROBES_PERIOD><BEACON_HOST><![CDATA[30]]></BEACON_HOST><MONITOR_HOST><![CDATA[120]]></MONITOR_HOST><MONITOR_VM><![CDATA[30]]></MONITOR_VM><STATE_VM><![CDATA[5]]></STATE_VM><SYNC_STATE_VM><![CDATA[180]]></SYNC_STATE_VM><SYSTEM_HOST><![CDATA[600]]></SYSTEM_HOST></PROBES_PERIOD><VM_MONITORING_EXPIRATION_TIME><![CDATA[43200]]></VM_MONITORING_EXPIRATION_TIME><HOST_ID>0</HOST_ID></MONITOR_CONFIGURATION>' | /var/tmp/one/im/run_monitord_client kvm 0 localhost-kvm

Somehow has triggered the monitoring for the hyp with id 0 from the server, so in our case that hyp now is in enabled, but the rest of them are still in error state.

26

Hi

Maybe this is related, but in our case we have fixed the onehost in error status with this workaround (Onehost sync fails during 5.12.0 upgrade). The onehost sync should work correctly as oneadmin user. After that fix our hosts are now available again.

Cheers
Álvaro

1 Like
27

Hello @madko and @Marco, the last command I suggested is the same command that OpenNebula execute for starting the monitoring agents inside the hypervisor nodes. For some reason this command cannot be executed by OpenNebula in your environment. Can you both confirm that you executed the ssh command as oneadmin and in the frontend node?

If you did it, you can use this modified version of CommandManager.rb so we can get some debug information for your case. You will need to

  • Replace /usr/lib/one/ruby/CommandManager.rb in your frontend by this one (backup the original previously).
  • Puts your host in offline state.
  • Restart OpenNebula service.
  • Enable your host back again.
  • Check for the debug information in /tmp/debug_info and send us the output.

Also you can try to execute the command with the arguments and STDIN shown in /tmp/debug_info and let us know if you see any error.

1 Like
28

Yeah! Removing all the backups etc.20xx-xx-xx made with an other user than oneadmin (like root) from previous upgrades fixed everything. onehost sync is now working perfectly, monitoring is working and hosts are not in ERROR state anymore.

I guess this part needs some improvement to raise better error messages in the logs. Because even in debug level I had no clue that this could be such a simple problem.

Anyway, thank you all for your help. I’m now enjoying OpenNebula 5.12.

best regards,
Edouard

29

Agree with @madko
I also have some files belonging to root user
After a chown, all problems are gone.
onehost sync is working and the hosts are no longer in error.

Thanks everybody!
Regards,
Marco

30

Thanks. @Marco

This helped me as well with an upgrade on one of our environments.