Hosts in error after upgrading to 5.12.0

Hello @madko,

As it seems that running the probes manually in the hypervisor is working for you, let’s check why the frontend is not able to start them remotely. We need you to execute the following command in the frontend:

ssh localhost-kvm 'if [ -x /var/tmp/one/im/run_monitord_client ]; then /var/tmp/one/im/run_monitord_client kvm 0 localhost-kvm; else exit 42; fi' < <XML>

Replacing the <XML> by a path to a file containing the XML you used for starting the probes manually.

Also, could you share the output of tree /var/lib/one/remotes?

same result, it works manually, no error

/var/lib/one/remotes
β”œβ”€β”€ auth
β”‚   β”œβ”€β”€ dummy
β”‚   β”‚   └── authenticate
β”‚   β”œβ”€β”€ ldap
β”‚   β”‚   └── authenticate
β”‚   β”œβ”€β”€ plain
β”‚   β”‚   └── authenticate
β”‚   β”œβ”€β”€ server_cipher
β”‚   β”‚   └── authenticate
β”‚   β”œβ”€β”€ server_x509
β”‚   β”‚   └── authenticate
β”‚   β”œβ”€β”€ ssh
β”‚   β”‚   └── authenticate
β”‚   └── x509
β”‚       └── authenticate
β”œβ”€β”€ create_container_image.sh
β”œβ”€β”€ create_docker_image.sh
β”œβ”€β”€ datastore
β”‚   β”œβ”€β”€ ceph
β”‚   β”‚   β”œβ”€β”€ ceph_utils.sh
β”‚   β”‚   β”œβ”€β”€ clone
β”‚   β”‚   β”œβ”€β”€ cp
β”‚   β”‚   β”œβ”€β”€ export
β”‚   β”‚   β”œβ”€β”€ mkfs
β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”œβ”€β”€ rm
β”‚   β”‚   β”œβ”€β”€ snap_delete
β”‚   β”‚   β”œβ”€β”€ snap_flatten
β”‚   β”‚   β”œβ”€β”€ snap_revert
β”‚   β”‚   └── stat
β”‚   β”œβ”€β”€ dev
β”‚   β”‚   β”œβ”€β”€ clone
β”‚   β”‚   β”œβ”€β”€ cp
β”‚   β”‚   β”œβ”€β”€ mkfs
β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”œβ”€β”€ rm
β”‚   β”‚   β”œβ”€β”€ snap_delete
β”‚   β”‚   β”œβ”€β”€ snap_flatten
β”‚   β”‚   β”œβ”€β”€ snap_revert
β”‚   β”‚   └── stat
β”‚   β”œβ”€β”€ docker_downloader.sh
β”‚   β”œβ”€β”€ downloader.sh
β”‚   β”œβ”€β”€ dummy
β”‚   β”‚   β”œβ”€β”€ clone
β”‚   β”‚   β”œβ”€β”€ cp
β”‚   β”‚   β”œβ”€β”€ export
β”‚   β”‚   β”œβ”€β”€ mkfs
β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”œβ”€β”€ rm
β”‚   β”‚   β”œβ”€β”€ snap_delete
β”‚   β”‚   β”œβ”€β”€ snap_flatten
β”‚   β”‚   β”œβ”€β”€ snap_revert
β”‚   β”‚   └── stat
β”‚   β”œβ”€β”€ fs
β”‚   β”‚   β”œβ”€β”€ clone
β”‚   β”‚   β”œβ”€β”€ cp
β”‚   β”‚   β”œβ”€β”€ export
β”‚   β”‚   β”œβ”€β”€ mkfs
β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”œβ”€β”€ rm
β”‚   β”‚   β”œβ”€β”€ snap_delete
β”‚   β”‚   β”œβ”€β”€ snap_flatten
β”‚   β”‚   β”œβ”€β”€ snap_revert
β”‚   β”‚   └── stat
β”‚   β”œβ”€β”€ iscsi_libvirt
β”‚   β”‚   β”œβ”€β”€ clone
β”‚   β”‚   β”œβ”€β”€ cp
β”‚   β”‚   β”œβ”€β”€ mkfs
β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”œβ”€β”€ rm
β”‚   β”‚   β”œβ”€β”€ snap_delete
β”‚   β”‚   β”œβ”€β”€ snap_flatten
β”‚   β”‚   β”œβ”€β”€ snap_revert
β”‚   β”‚   └── stat
β”‚   β”œβ”€β”€ libfs.sh
β”‚   β”œβ”€β”€ lxd_downloader.sh
β”‚   β”œβ”€β”€ url.rb
β”‚   β”œβ”€β”€ vcenter
β”‚   β”‚   β”œβ”€β”€ clone
β”‚   β”‚   β”œβ”€β”€ cp
β”‚   β”‚   β”œβ”€β”€ export
β”‚   β”‚   β”œβ”€β”€ mkfs
β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”œβ”€β”€ rm
β”‚   β”‚   β”œβ”€β”€ snap_delete
β”‚   β”‚   β”œβ”€β”€ snap_flatten
β”‚   β”‚   β”œβ”€β”€ snap_revert
β”‚   β”‚   └── stat
β”‚   β”œβ”€β”€ vcenter_downloader.rb
β”‚   β”œβ”€β”€ vcenter_uploader.rb
β”‚   └── xpath.rb
β”œβ”€β”€ etc
β”‚   β”œβ”€β”€ datastore
β”‚   β”‚   β”œβ”€β”€ ceph
β”‚   β”‚   β”‚   └── ceph.conf
β”‚   β”‚   └── fs
β”‚   β”‚       └── fs.conf
β”‚   β”œβ”€β”€ im
β”‚   β”‚   β”œβ”€β”€ firecracker-probes.d
β”‚   β”‚   β”‚   └── probe_db.conf
β”‚   β”‚   β”œβ”€β”€ kvm-probes.d
β”‚   β”‚   β”‚   β”œβ”€β”€ pci.conf
β”‚   β”‚   β”‚   └── probe_db.conf
β”‚   β”‚   └── lxd-probes.d
β”‚   β”‚       β”œβ”€β”€ pci.conf
β”‚   β”‚       └── probe_db.conf
β”‚   β”œβ”€β”€ market
β”‚   β”‚   └── http
β”‚   β”‚       └── http.conf
β”‚   β”œβ”€β”€ tm
β”‚   β”‚   └── fs_lvm
β”‚   β”‚       └── fs_lvm.conf
β”‚   β”œβ”€β”€ vmm
β”‚   β”‚   β”œβ”€β”€ firecracker
β”‚   β”‚   β”‚   └── firecrackerrc
β”‚   β”‚   β”œβ”€β”€ kvm
β”‚   β”‚   β”‚   β”œβ”€β”€ kvmrc
β”‚   β”‚   β”‚   └── kvmrc.rpmsave
β”‚   β”‚   β”œβ”€β”€ lxd
β”‚   β”‚   β”‚   └── lxdrc
β”‚   β”‚   └── vcenter
β”‚   β”‚       └── vcenterrc
β”‚   └── vnm
β”‚       └── OpenNebulaNetwork.conf
β”œβ”€β”€ etc.2019-12-12 [error opening dir]
β”œβ”€β”€ etc.2020-06-24 [error opening dir]
β”œβ”€β”€ hooks
β”‚   β”œβ”€β”€ alias_ip
β”‚   β”‚   └── alias_ip.rb
β”‚   β”œβ”€β”€ ft
β”‚   β”‚   β”œβ”€β”€ fence_host.sh
β”‚   β”‚   └── host_error.rb
β”‚   β”œβ”€β”€ raft
β”‚   β”‚   └── vip.sh
β”‚   └── vcenter
β”‚       β”œβ”€β”€ create_vcenter_net.rb
β”‚       β”œβ”€β”€ delete_vcenter_net.rb
β”‚       └── templates
β”‚           β”œβ”€β”€ create_vcenter_net.tmpl
β”‚           β”œβ”€β”€ delete_vcenter_net.tmpl
β”‚           └── instantiate_vcenter_net.tmpl
β”œβ”€β”€ im
β”‚   β”œβ”€β”€ az.d
β”‚   β”‚   β”œβ”€β”€ monitord-client_control.sh
β”‚   β”‚   └── monitord-client.rb
β”‚   β”œβ”€β”€ az-probes.d
β”‚   β”‚   β”œβ”€β”€ host
β”‚   β”‚   β”‚   β”œβ”€β”€ beacon
β”‚   β”‚   β”‚   β”‚   └── monitord-client-shepherd_local.sh
β”‚   β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”‚   β”‚   └── probe_host_monitor.rb
β”‚   β”‚   β”‚   └── system
β”‚   β”‚   β”‚       └── probe_host_system.rb
β”‚   β”‚   └── vm
β”‚   β”‚       β”œβ”€β”€ monitor
β”‚   β”‚       β”‚   └── probe_vm_monitor.rb
β”‚   β”‚       └── status
β”‚   β”‚           └── probe_vm_status.rb
β”‚   β”œβ”€β”€ dummy.d
β”‚   β”‚   β”œβ”€β”€ monitord-client_control.sh
β”‚   β”‚   └── monitord-client.rb
β”‚   β”œβ”€β”€ dummy-probes.d
β”‚   β”‚   β”œβ”€β”€ host
β”‚   β”‚   β”‚   β”œβ”€β”€ beacon
β”‚   β”‚   β”‚   β”‚   β”œβ”€β”€ date.sh
β”‚   β”‚   β”‚   β”‚   └── monitord-client-shepherd_local.sh
β”‚   β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”‚   β”‚   └── monitor.rb
β”‚   β”‚   β”‚   └── system
β”‚   β”‚   β”‚       └── system.rb
β”‚   β”‚   └── vm
β”‚   β”‚       β”œβ”€β”€ monitor
β”‚   β”‚       β”‚   └── monitor.rb
β”‚   β”‚       └── status
β”‚   β”œβ”€β”€ ec2.d
β”‚   β”‚   β”œβ”€β”€ monitord-client_control.sh
β”‚   β”‚   └── monitord-client.rb
β”‚   β”œβ”€β”€ ec2-probes.d
β”‚   β”‚   β”œβ”€β”€ host
β”‚   β”‚   β”‚   β”œβ”€β”€ beacon
β”‚   β”‚   β”‚   β”‚   └── monitord-client-shepherd_local.sh
β”‚   β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”‚   β”‚   └── probe_host_monitor.rb
β”‚   β”‚   β”‚   └── system
β”‚   β”‚   β”‚       └── probe_host_system.rb
β”‚   β”‚   └── vm
β”‚   β”‚       β”œβ”€β”€ monitor
β”‚   β”‚       β”‚   └── probe_vm_monitor.rb
β”‚   β”‚       └── status
β”‚   β”‚           └── probe_vm_status.rb
β”‚   β”œβ”€β”€ firecracker.d
β”‚   β”‚   β”œβ”€β”€ monitord-client_control.sh
β”‚   β”‚   └── monitord-client.rb
β”‚   β”œβ”€β”€ firecracker-probes.d
β”‚   β”‚   β”œβ”€β”€ host
β”‚   β”‚   β”‚   β”œβ”€β”€ beacon
β”‚   β”‚   β”‚   β”‚   β”œβ”€β”€ date.sh
β”‚   β”‚   β”‚   β”‚   └── monitord-client-shepherd.sh
β”‚   β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”‚   β”‚   β”œβ”€β”€ linux_usage.rb
β”‚   β”‚   β”‚   β”‚   └── numa_usage.rb
β”‚   β”‚   β”‚   └── system
β”‚   β”‚   β”‚       β”œβ”€β”€ architecture.sh
β”‚   β”‚   β”‚       β”œβ”€β”€ cpu.sh
β”‚   β”‚   β”‚       β”œβ”€β”€ linux_host.rb
β”‚   β”‚   β”‚       β”œβ”€β”€ monitor_ds.rb
β”‚   β”‚   β”‚       β”œβ”€β”€ name.sh
β”‚   β”‚   β”‚       β”œβ”€β”€ numa_host.rb
β”‚   β”‚   β”‚       └── version.sh
β”‚   β”‚   └── vm
β”‚   β”‚       β”œβ”€β”€ monitor
β”‚   β”‚       β”‚   β”œβ”€β”€ monitor_ds_vm.rb
β”‚   β”‚       β”‚   └── poll.rb
β”‚   β”‚       └── status
β”‚   β”‚           └── state.rb
β”‚   β”œβ”€β”€ kvm.d
β”‚   β”‚   β”œβ”€β”€ monitord-client_control.sh
β”‚   β”‚   └── monitord-client.rb
β”‚   β”œβ”€β”€ kvm-probes.d
β”‚   β”‚   β”œβ”€β”€ host
β”‚   β”‚   β”‚   β”œβ”€β”€ beacon
β”‚   β”‚   β”‚   β”‚   β”œβ”€β”€ date.sh
β”‚   β”‚   β”‚   β”‚   └── monitord-client-shepherd.sh
β”‚   β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”‚   β”‚   β”œβ”€β”€ linux_usage.rb
β”‚   β”‚   β”‚   β”‚   └── numa_usage.rb
β”‚   β”‚   β”‚   └── system
β”‚   β”‚   β”‚       β”œβ”€β”€ architecture.sh
β”‚   β”‚   β”‚       β”œβ”€β”€ cpu.sh
β”‚   β”‚   β”‚       β”œβ”€β”€ linux_host.rb
β”‚   β”‚   β”‚       β”œβ”€β”€ machines_models.rb
β”‚   β”‚   β”‚       β”œβ”€β”€ monitor_ds.rb
β”‚   β”‚   β”‚       β”œβ”€β”€ name.sh
β”‚   β”‚   β”‚       β”œβ”€β”€ numa_host.rb
β”‚   β”‚   β”‚       β”œβ”€β”€ pci.rb
β”‚   β”‚   β”‚       β”œβ”€β”€ version.sh
β”‚   β”‚   β”‚       └── wild_vm.rb
β”‚   β”‚   └── vm
β”‚   β”‚       β”œβ”€β”€ monitor
β”‚   β”‚       β”‚   β”œβ”€β”€ monitor_ds_vm.rb
β”‚   β”‚       β”‚   └── poll.rb
β”‚   β”‚       └── status
β”‚   β”‚           └── state.rb
β”‚   β”œβ”€β”€ lib
β”‚   β”‚   β”œβ”€β”€ domain.rb
β”‚   β”‚   β”œβ”€β”€ firecracker.rb
β”‚   β”‚   β”œβ”€β”€ kvm.rb
β”‚   β”‚   β”œβ”€β”€ linux.rb
β”‚   β”‚   β”œβ”€β”€ lxd.rb
β”‚   β”‚   β”œβ”€β”€ monitord_client.rb
β”‚   β”‚   β”œβ”€β”€ numa_common.rb
β”‚   β”‚   β”œβ”€β”€ probe_db.rb
β”‚   β”‚   β”œβ”€β”€ process_list.rb
β”‚   β”‚   β”œβ”€β”€ vcenter_cluster.rb
β”‚   β”‚   └── vcenter_monitor.rb
β”‚   β”œβ”€β”€ lxd.d
β”‚   β”‚   β”œβ”€β”€ monitord-client_control.sh
β”‚   β”‚   └── monitord-client.rb
β”‚   β”œβ”€β”€ lxd-probes.d
β”‚   β”‚   β”œβ”€β”€ host
β”‚   β”‚   β”‚   β”œβ”€β”€ beacon
β”‚   β”‚   β”‚   β”‚   β”œβ”€β”€ date.sh
β”‚   β”‚   β”‚   β”‚   └── monitord-client-shepherd.sh
β”‚   β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”‚   β”‚   β”œβ”€β”€ linux_usage.rb
β”‚   β”‚   β”‚   β”‚   └── numa_usage.rb
β”‚   β”‚   β”‚   └── system
β”‚   β”‚   β”‚       β”œβ”€β”€ architecture.sh
β”‚   β”‚   β”‚       β”œβ”€β”€ cpu.sh
β”‚   β”‚   β”‚       β”œβ”€β”€ linux_host.rb
β”‚   β”‚   β”‚       β”œβ”€β”€ monitor_ds.rb
β”‚   β”‚   β”‚       β”œβ”€β”€ name.sh
β”‚   β”‚   β”‚       β”œβ”€β”€ numa_host.rb
β”‚   β”‚   β”‚       β”œβ”€β”€ pci.rb
β”‚   β”‚   β”‚       β”œβ”€β”€ profiles.sh
β”‚   β”‚   β”‚       β”œβ”€β”€ version.sh
β”‚   β”‚   β”‚       └── wild_vm.rb
β”‚   β”‚   └── vm
β”‚   β”‚       β”œβ”€β”€ monitor
β”‚   β”‚       β”‚   β”œβ”€β”€ monitor_ds_vm.rb
β”‚   β”‚       β”‚   └── poll.rb
β”‚   β”‚       └── status
β”‚   β”‚           └── state.rb
β”‚   β”œβ”€β”€ one.d
β”‚   β”‚   β”œβ”€β”€ monitord-client_control.sh
β”‚   β”‚   └── monitord-client.rb
β”‚   β”œβ”€β”€ one-probes.d
β”‚   β”‚   β”œβ”€β”€ host
β”‚   β”‚   β”‚   β”œβ”€β”€ beacon
β”‚   β”‚   β”‚   β”‚   └── monitord-client-shepherd_local.sh
β”‚   β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”‚   β”‚   └── probe_host_monitor.rb
β”‚   β”‚   β”‚   └── system
β”‚   β”‚   β”‚       └── probe_host_system.rb
β”‚   β”‚   └── vm
β”‚   β”‚       β”œβ”€β”€ monitor
β”‚   β”‚       β”‚   └── probe_vm_monitor.rb
β”‚   β”‚       └── status
β”‚   β”‚           └── probe_vm_status.rb
β”‚   β”œβ”€β”€ packet.d
β”‚   β”‚   β”œβ”€β”€ monitord-client_control.sh
β”‚   β”‚   └── monitord-client.rb
β”‚   β”œβ”€β”€ packet-probes.d
β”‚   β”‚   β”œβ”€β”€ host
β”‚   β”‚   β”‚   β”œβ”€β”€ beacon
β”‚   β”‚   β”‚   β”‚   └── monitord-client-shepherd_local.sh
β”‚   β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”‚   β”‚   └── probe_host_monitor.rb
β”‚   β”‚   β”‚   └── system
β”‚   β”‚   β”‚       └── probe_host_system.rb
β”‚   β”‚   └── vm
β”‚   β”‚       β”œβ”€β”€ monitor
β”‚   β”‚       β”‚   └── probe_vm_monitor.rb
β”‚   β”‚       └── status
β”‚   β”‚           └── probe_vm_status.rb
β”‚   β”œβ”€β”€ run_monitord_client
β”‚   β”œβ”€β”€ stop_monitord_client
β”‚   └── vcenter.d
β”‚       └── monitord-client_control.sh
β”œβ”€β”€ ipam
β”‚   β”œβ”€β”€ dummy
β”‚   β”‚   β”œβ”€β”€ allocate_address
β”‚   β”‚   β”œβ”€β”€ free_address
β”‚   β”‚   β”œβ”€β”€ get_address
β”‚   β”‚   β”œβ”€β”€ register_address_range
β”‚   β”‚   └── unregister_address_range
β”‚   └── packet
β”‚       β”œβ”€β”€ allocate_address
β”‚       β”œβ”€β”€ free_address
β”‚       β”œβ”€β”€ get_address
β”‚       β”œβ”€β”€ register_address_range
β”‚       └── unregister_address_range
β”œβ”€β”€ market
β”‚   β”œβ”€β”€ common
β”‚   β”‚   └── lxd.rb
β”‚   β”œβ”€β”€ dockerhub
β”‚   β”‚   β”œβ”€β”€ delete
β”‚   β”‚   β”œβ”€β”€ import
β”‚   β”‚   └── monitor
β”‚   β”œβ”€β”€ http
β”‚   β”‚   β”œβ”€β”€ delete
β”‚   β”‚   β”œβ”€β”€ import
β”‚   β”‚   └── monitor
β”‚   β”œβ”€β”€ linuxcontainers
β”‚   β”‚   β”œβ”€β”€ delete
β”‚   β”‚   β”œβ”€β”€ import
β”‚   β”‚   └── monitor
β”‚   β”œβ”€β”€ one
β”‚   β”‚   β”œβ”€β”€ delete
β”‚   β”‚   β”œβ”€β”€ import
β”‚   β”‚   └── monitor
β”‚   β”œβ”€β”€ s3
β”‚   β”‚   β”œβ”€β”€ delete
β”‚   β”‚   β”œβ”€β”€ import
β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   └── S3.rb
β”‚   └── turnkeylinux
β”‚       β”œβ”€β”€ delete
β”‚       β”œβ”€β”€ import
β”‚       └── monitor
β”œβ”€β”€ pm
β”‚   β”œβ”€β”€ dummy
β”‚   β”‚   β”œβ”€β”€ cancel
β”‚   β”‚   β”œβ”€β”€ deploy
β”‚   β”‚   β”œβ”€β”€ poll
β”‚   β”‚   β”œβ”€β”€ reboot
β”‚   β”‚   β”œβ”€β”€ reset
β”‚   β”‚   └── shutdown
β”‚   β”œβ”€β”€ ec2
β”‚   β”‚   β”œβ”€β”€ cancel
β”‚   β”‚   β”œβ”€β”€ deploy
β”‚   β”‚   β”œβ”€β”€ poll
β”‚   β”‚   β”œβ”€β”€ reboot
β”‚   β”‚   β”œβ”€β”€ reset
β”‚   β”‚   └── shutdown
β”‚   └── packet
β”‚       β”œβ”€β”€ cancel
β”‚       β”œβ”€β”€ deploy
β”‚       β”œβ”€β”€ poll
β”‚       β”œβ”€β”€ reboot
β”‚       β”œβ”€β”€ reset
β”‚       └── shutdown
β”œβ”€β”€ scripts_common.rb
β”œβ”€β”€ scripts_common.sh
β”œβ”€β”€ tm
β”‚   β”œβ”€β”€ ceph
β”‚   β”‚   β”œβ”€β”€ clone
β”‚   β”‚   β”œβ”€β”€ clone.ssh
β”‚   β”‚   β”œβ”€β”€ context
β”‚   β”‚   β”œβ”€β”€ cpds
β”‚   β”‚   β”œβ”€β”€ cpds.ssh
β”‚   β”‚   β”œβ”€β”€ delete
β”‚   β”‚   β”œβ”€β”€ delete.ssh
β”‚   β”‚   β”œβ”€β”€ failmigrate
β”‚   β”‚   β”œβ”€β”€ ln
β”‚   β”‚   β”œβ”€β”€ ln.ssh
β”‚   β”‚   β”œβ”€β”€ mkimage
β”‚   β”‚   β”œβ”€β”€ mkswap
β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”œβ”€β”€ mv
β”‚   β”‚   β”œβ”€β”€ mvds
β”‚   β”‚   β”œβ”€β”€ mvds.ssh
β”‚   β”‚   β”œβ”€β”€ postmigrate
β”‚   β”‚   β”œβ”€β”€ premigrate
β”‚   β”‚   β”œβ”€β”€ resize
β”‚   β”‚   β”œβ”€β”€ resize.ssh
β”‚   β”‚   β”œβ”€β”€ snap_create
β”‚   β”‚   β”œβ”€β”€ snap_create_live
β”‚   β”‚   β”œβ”€β”€ snap_delete
β”‚   β”‚   └── snap_revert
β”‚   β”œβ”€β”€ dev
β”‚   β”‚   β”œβ”€β”€ clone
β”‚   β”‚   β”œβ”€β”€ cpds
β”‚   β”‚   β”œβ”€β”€ delete
β”‚   β”‚   β”œβ”€β”€ failmigrate
β”‚   β”‚   β”œβ”€β”€ ln
β”‚   β”‚   β”œβ”€β”€ mv
β”‚   β”‚   β”œβ”€β”€ mvds
β”‚   β”‚   β”œβ”€β”€ postmigrate
β”‚   β”‚   β”œβ”€β”€ premigrate
β”‚   β”‚   β”œβ”€β”€ resize
β”‚   β”‚   β”œβ”€β”€ snap_create
β”‚   β”‚   β”œβ”€β”€ snap_create_live
β”‚   β”‚   β”œβ”€β”€ snap_delete
β”‚   β”‚   └── snap_revert
β”‚   β”œβ”€β”€ dummy
β”‚   β”‚   β”œβ”€β”€ clone
β”‚   β”‚   β”œβ”€β”€ context
β”‚   β”‚   β”œβ”€β”€ cpds
β”‚   β”‚   β”œβ”€β”€ delete
β”‚   β”‚   β”œβ”€β”€ failmigrate
β”‚   β”‚   β”œβ”€β”€ ln
β”‚   β”‚   β”œβ”€β”€ mkimage
β”‚   β”‚   β”œβ”€β”€ mkswap
β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”œβ”€β”€ mv
β”‚   β”‚   β”œβ”€β”€ mvds
β”‚   β”‚   β”œβ”€β”€ postmigrate
β”‚   β”‚   β”œβ”€β”€ premigrate
β”‚   β”‚   β”œβ”€β”€ resize
β”‚   β”‚   β”œβ”€β”€ snap_create
β”‚   β”‚   β”œβ”€β”€ snap_create_live
β”‚   β”‚   β”œβ”€β”€ snap_delete
β”‚   β”‚   └── snap_revert
β”‚   β”œβ”€β”€ fs_lvm
β”‚   β”‚   β”œβ”€β”€ activate
β”‚   β”‚   β”œβ”€β”€ clone
β”‚   β”‚   β”œβ”€β”€ context
β”‚   β”‚   β”œβ”€β”€ cpds
β”‚   β”‚   β”œβ”€β”€ delete
β”‚   β”‚   β”œβ”€β”€ failmigrate
β”‚   β”‚   β”œβ”€β”€ ln
β”‚   β”‚   β”œβ”€β”€ mkimage
β”‚   β”‚   β”œβ”€β”€ mkswap
β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”œβ”€β”€ mv
β”‚   β”‚   β”œβ”€β”€ mvds
β”‚   β”‚   β”œβ”€β”€ postmigrate
β”‚   β”‚   β”œβ”€β”€ premigrate
β”‚   β”‚   β”œβ”€β”€ resize
β”‚   β”‚   β”œβ”€β”€ snap_create
β”‚   β”‚   β”œβ”€β”€ snap_create_live
β”‚   β”‚   β”œβ”€β”€ snap_delete
β”‚   β”‚   └── snap_revert
β”‚   β”œβ”€β”€ iscsi_libvirt
β”‚   β”‚   β”œβ”€β”€ clone
β”‚   β”‚   β”œβ”€β”€ cpds
β”‚   β”‚   β”œβ”€β”€ delete
β”‚   β”‚   β”œβ”€β”€ failmigrate
β”‚   β”‚   β”œβ”€β”€ ln
β”‚   β”‚   β”œβ”€β”€ mv
β”‚   β”‚   β”œβ”€β”€ mvds
β”‚   β”‚   β”œβ”€β”€ postmigrate
β”‚   β”‚   β”œβ”€β”€ premigrate
β”‚   β”‚   β”œβ”€β”€ resize
β”‚   β”‚   β”œβ”€β”€ snap_create
β”‚   β”‚   β”œβ”€β”€ snap_create_live
β”‚   β”‚   β”œβ”€β”€ snap_delete
β”‚   β”‚   └── snap_revert
β”‚   β”œβ”€β”€ qcow2
β”‚   β”‚   β”œβ”€β”€ clone
β”‚   β”‚   β”œβ”€β”€ clone.ssh
β”‚   β”‚   β”œβ”€β”€ context
β”‚   β”‚   β”œβ”€β”€ cpds
β”‚   β”‚   β”œβ”€β”€ cpds.ssh
β”‚   β”‚   β”œβ”€β”€ delete
β”‚   β”‚   β”œβ”€β”€ failmigrate
β”‚   β”‚   β”œβ”€β”€ ln
β”‚   β”‚   β”œβ”€β”€ ln.ssh
β”‚   β”‚   β”œβ”€β”€ mkimage
β”‚   β”‚   β”œβ”€β”€ mkswap
β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”œβ”€β”€ mv
β”‚   β”‚   β”œβ”€β”€ mvds
β”‚   β”‚   β”œβ”€β”€ mvds.ssh
β”‚   β”‚   β”œβ”€β”€ mv.ssh
β”‚   β”‚   β”œβ”€β”€ postmigrate
β”‚   β”‚   β”œβ”€β”€ premigrate
β”‚   β”‚   β”œβ”€β”€ resize
β”‚   β”‚   β”œβ”€β”€ snap_create
β”‚   β”‚   β”œβ”€β”€ snap_create_live
β”‚   β”‚   β”œβ”€β”€ snap_create_live.ssh
β”‚   β”‚   β”œβ”€β”€ snap_create.ssh
β”‚   β”‚   β”œβ”€β”€ snap_delete
β”‚   β”‚   β”œβ”€β”€ snap_delete.ssh
β”‚   β”‚   β”œβ”€β”€ snap_revert
β”‚   β”‚   └── snap_revert.ssh
β”‚   β”œβ”€β”€ shared
β”‚   β”‚   β”œβ”€β”€ clone
β”‚   β”‚   β”œβ”€β”€ context
β”‚   β”‚   β”œβ”€β”€ cpds
β”‚   β”‚   β”œβ”€β”€ delete
β”‚   β”‚   β”œβ”€β”€ failmigrate
β”‚   β”‚   β”œβ”€β”€ ln
β”‚   β”‚   β”œβ”€β”€ ln.ssh
β”‚   β”‚   β”œβ”€β”€ mkimage
β”‚   β”‚   β”œβ”€β”€ mkswap
β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”œβ”€β”€ mv
β”‚   β”‚   β”œβ”€β”€ mvds
β”‚   β”‚   β”œβ”€β”€ mvds.ssh
β”‚   β”‚   β”œβ”€β”€ postmigrate
β”‚   β”‚   β”œβ”€β”€ premigrate
β”‚   β”‚   β”œβ”€β”€ resize
β”‚   β”‚   β”œβ”€β”€ snap_create
β”‚   β”‚   β”œβ”€β”€ snap_create_live
β”‚   β”‚   β”œβ”€β”€ snap_delete
β”‚   β”‚   └── snap_revert
β”‚   β”œβ”€β”€ ssh
β”‚   β”‚   β”œβ”€β”€ clone
β”‚   β”‚   β”œβ”€β”€ context
β”‚   β”‚   β”œβ”€β”€ cpds
β”‚   β”‚   β”œβ”€β”€ delete
β”‚   β”‚   β”œβ”€β”€ failmigrate
β”‚   β”‚   β”œβ”€β”€ ln
β”‚   β”‚   β”œβ”€β”€ mkimage
β”‚   β”‚   β”œβ”€β”€ mkswap
β”‚   β”‚   β”œβ”€β”€ monitor
β”‚   β”‚   β”œβ”€β”€ monitor_ds
β”‚   β”‚   β”œβ”€β”€ mv
β”‚   β”‚   β”œβ”€β”€ mvds
β”‚   β”‚   β”œβ”€β”€ postmigrate
β”‚   β”‚   β”œβ”€β”€ premigrate
β”‚   β”‚   β”œβ”€β”€ resize
β”‚   β”‚   β”œβ”€β”€ snap_create
β”‚   β”‚   β”œβ”€β”€ snap_create_live
β”‚   β”‚   β”œβ”€β”€ snap_delete
β”‚   β”‚   └── snap_revert
β”‚   β”œβ”€β”€ tm_common.sh
β”‚   └── vcenter
β”‚       β”œβ”€β”€ clone
β”‚       β”œβ”€β”€ context
β”‚       β”œβ”€β”€ cpds
β”‚       β”œβ”€β”€ delete
β”‚       β”œβ”€β”€ failmigrate
β”‚       β”œβ”€β”€ ln
β”‚       β”œβ”€β”€ mkimage
β”‚       β”œβ”€β”€ mkswap
β”‚       β”œβ”€β”€ monitor
β”‚       β”œβ”€β”€ mv
β”‚       β”œβ”€β”€ mvds
β”‚       β”œβ”€β”€ postmigrate
β”‚       β”œβ”€β”€ premigrate
β”‚       β”œβ”€β”€ resize
β”‚       β”œβ”€β”€ snap_create
β”‚       β”œβ”€β”€ snap_create_live
β”‚       β”œβ”€β”€ snap_delete
β”‚       └── snap_revert
β”œβ”€β”€ VERSION
β”œβ”€β”€ vmm
β”‚   β”œβ”€β”€ az
β”‚   β”‚   β”œβ”€β”€ attach_disk
β”‚   β”‚   β”œβ”€β”€ attach_nic
β”‚   β”‚   β”œβ”€β”€ cancel
β”‚   β”‚   β”œβ”€β”€ deploy
β”‚   β”‚   β”œβ”€β”€ detach_disk
β”‚   β”‚   β”œβ”€β”€ detach_nic
β”‚   β”‚   β”œβ”€β”€ migrate
β”‚   β”‚   β”œβ”€β”€ prereconfigure
β”‚   β”‚   β”œβ”€β”€ reboot
β”‚   β”‚   β”œβ”€β”€ reconfigure
β”‚   β”‚   β”œβ”€β”€ reset
β”‚   β”‚   β”œβ”€β”€ resize_disk
β”‚   β”‚   β”œβ”€β”€ restore
β”‚   β”‚   β”œβ”€β”€ save
β”‚   β”‚   β”œβ”€β”€ shutdown
β”‚   β”‚   β”œβ”€β”€ snapshot_create
β”‚   β”‚   β”œβ”€β”€ snapshot_delete
β”‚   β”‚   └── snapshot_revert
β”‚   β”œβ”€β”€ ec2
β”‚   β”‚   β”œβ”€β”€ attach_disk
β”‚   β”‚   β”œβ”€β”€ attach_nic
β”‚   β”‚   β”œβ”€β”€ cancel
β”‚   β”‚   β”œβ”€β”€ deploy
β”‚   β”‚   β”œβ”€β”€ detach_disk
β”‚   β”‚   β”œβ”€β”€ detach_nic
β”‚   β”‚   β”œβ”€β”€ migrate
β”‚   β”‚   β”œβ”€β”€ prereconfigure
β”‚   β”‚   β”œβ”€β”€ reboot
β”‚   β”‚   β”œβ”€β”€ reconfigure
β”‚   β”‚   β”œβ”€β”€ reset
β”‚   β”‚   β”œβ”€β”€ resize_disk
β”‚   β”‚   β”œβ”€β”€ restore
β”‚   β”‚   β”œβ”€β”€ save
β”‚   β”‚   β”œβ”€β”€ shutdown
β”‚   β”‚   β”œβ”€β”€ snapshot_create
β”‚   β”‚   β”œβ”€β”€ snapshot_delete
β”‚   β”‚   └── snapshot_revert
β”‚   β”œβ”€β”€ firecracker
β”‚   β”‚   β”œβ”€β”€ cancel
β”‚   β”‚   β”œβ”€β”€ client.rb
β”‚   β”‚   β”œβ”€β”€ command.rb
β”‚   β”‚   β”œβ”€β”€ deploy
β”‚   β”‚   β”œβ”€β”€ map_context
β”‚   β”‚   β”œβ”€β”€ microvm.rb
β”‚   β”‚   β”œβ”€β”€ opennebula_vm.rb
β”‚   β”‚   └── shutdown
β”‚   β”œβ”€β”€ kvm
β”‚   β”‚   β”œβ”€β”€ attach_disk
β”‚   β”‚   β”œβ”€β”€ attach_nic
β”‚   β”‚   β”œβ”€β”€ attach_nic.rpmsave
β”‚   β”‚   β”œβ”€β”€ cancel
β”‚   β”‚   β”œβ”€β”€ deploy
β”‚   β”‚   β”œβ”€β”€ detach_disk
β”‚   β”‚   β”œβ”€β”€ detach_nic
β”‚   β”‚   β”œβ”€β”€ kvmrc.rpmsave
β”‚   β”‚   β”œβ”€β”€ migrate
β”‚   β”‚   β”œβ”€β”€ migrate_local
β”‚   β”‚   β”œβ”€β”€ prereconfigure
β”‚   β”‚   β”œβ”€β”€ reboot
β”‚   β”‚   β”œβ”€β”€ reconfigure
β”‚   β”‚   β”œβ”€β”€ reset
β”‚   β”‚   β”œβ”€β”€ resize_disk
β”‚   β”‚   β”œβ”€β”€ restore
β”‚   β”‚   β”œβ”€β”€ restore.ceph
β”‚   β”‚   β”œβ”€β”€ save
β”‚   β”‚   β”œβ”€β”€ save.ceph
β”‚   β”‚   β”œβ”€β”€ shutdown
β”‚   β”‚   β”œβ”€β”€ snapshot_create
β”‚   β”‚   β”œβ”€β”€ snapshot_delete
β”‚   β”‚   └── snapshot_revert
β”‚   β”œβ”€β”€ lib
β”‚   β”‚   └── command.rb
β”‚   β”œβ”€β”€ lxd
β”‚   β”‚   β”œβ”€β”€ attach_disk
β”‚   β”‚   β”œβ”€β”€ attach_nic
β”‚   β”‚   β”œβ”€β”€ cancel
β”‚   β”‚   β”œβ”€β”€ client.rb
β”‚   β”‚   β”œβ”€β”€ command.rb
β”‚   β”‚   β”œβ”€β”€ container.rb
β”‚   β”‚   β”œβ”€β”€ deploy
β”‚   β”‚   β”œβ”€β”€ detach_disk
β”‚   β”‚   β”œβ”€β”€ detach_nic
β”‚   β”‚   β”œβ”€β”€ mapper.rb
β”‚   β”‚   β”œβ”€β”€ migrate
β”‚   β”‚   β”œβ”€β”€ migrate_local
β”‚   β”‚   β”œβ”€β”€ opennebula_vm.rb
β”‚   β”‚   β”œβ”€β”€ prereconfigure
β”‚   β”‚   β”œβ”€β”€ qcow2.rb
β”‚   β”‚   β”œβ”€β”€ raw.rb
β”‚   β”‚   β”œβ”€β”€ rbd.rb
β”‚   β”‚   β”œβ”€β”€ reboot
β”‚   β”‚   β”œβ”€β”€ reconfigure
β”‚   β”‚   β”œβ”€β”€ reset
β”‚   β”‚   β”œβ”€β”€ resize_disk
β”‚   β”‚   β”œβ”€β”€ restore
β”‚   β”‚   β”œβ”€β”€ save
β”‚   β”‚   β”œβ”€β”€ shutdown
β”‚   β”‚   β”œβ”€β”€ snapshot_create
β”‚   β”‚   β”œβ”€β”€ snapshot_delete
β”‚   β”‚   └── snapshot_revert
β”‚   β”œβ”€β”€ one
β”‚   β”‚   β”œβ”€β”€ attach_disk
β”‚   β”‚   β”œβ”€β”€ attach_nic
β”‚   β”‚   β”œβ”€β”€ cancel
β”‚   β”‚   β”œβ”€β”€ deploy
β”‚   β”‚   β”œβ”€β”€ detach_disk
β”‚   β”‚   β”œβ”€β”€ detach_nic
β”‚   β”‚   β”œβ”€β”€ migrate
β”‚   β”‚   β”œβ”€β”€ migrate_local
β”‚   β”‚   β”œβ”€β”€ prereconfigure
β”‚   β”‚   β”œβ”€β”€ reboot
β”‚   β”‚   β”œβ”€β”€ reconfigure
β”‚   β”‚   β”œβ”€β”€ reset
β”‚   β”‚   β”œβ”€β”€ restore
β”‚   β”‚   β”œβ”€β”€ save
β”‚   β”‚   β”œβ”€β”€ shutdown
β”‚   β”‚   β”œβ”€β”€ snapshot_create
β”‚   β”‚   β”œβ”€β”€ snapshot_delete
β”‚   β”‚   └── snapshot_revert
β”‚   β”œβ”€β”€ packet
β”‚   β”‚   β”œβ”€β”€ cancel
β”‚   β”‚   β”œβ”€β”€ deploy
β”‚   β”‚   β”œβ”€β”€ poll
β”‚   β”‚   β”œβ”€β”€ reboot
β”‚   β”‚   β”œβ”€β”€ reset
β”‚   β”‚   └── shutdown
β”‚   └── vcenter
β”‚       β”œβ”€β”€ attach_disk
β”‚       β”œβ”€β”€ attach_nic
β”‚       β”œβ”€β”€ cancel
β”‚       β”œβ”€β”€ deploy
β”‚       β”œβ”€β”€ detach_disk
β”‚       β”œβ”€β”€ detach_nic
β”‚       β”œβ”€β”€ migrate
β”‚       β”œβ”€β”€ poll
β”‚       β”œβ”€β”€ preconfigure
β”‚       β”œβ”€β”€ prereconfigure
β”‚       β”œβ”€β”€ reboot
β”‚       β”œβ”€β”€ reconfigure
β”‚       β”œβ”€β”€ reset
β”‚       β”œβ”€β”€ resize_disk
β”‚       β”œβ”€β”€ restore
β”‚       β”œβ”€β”€ save
β”‚       β”œβ”€β”€ shutdown
β”‚       β”œβ”€β”€ snapshot_create
β”‚       β”œβ”€β”€ snapshot_delete
β”‚       └── snapshot_revert
└── vnm
    β”œβ”€β”€ 802.1Q
    β”‚   β”œβ”€β”€ clean
    β”‚   β”œβ”€β”€ clean.d
    β”‚   β”œβ”€β”€ post
    β”‚   β”œβ”€β”€ post.d
    β”‚   β”œβ”€β”€ pre
    β”‚   β”œβ”€β”€ pre.d
    β”‚   β”œβ”€β”€ update_sg
    β”‚   └── vlan_tag_driver.rb
    β”œβ”€β”€ address.rb
    β”œβ”€β”€ alias_sdnat
    β”‚   β”œβ”€β”€ AliasSDNAT.rb
    β”‚   β”œβ”€β”€ clean
    β”‚   β”œβ”€β”€ post
    β”‚   β”œβ”€β”€ pre
    β”‚   └── update_sg
    β”œβ”€β”€ bridge
    β”‚   β”œβ”€β”€ clean
    β”‚   β”œβ”€β”€ clean.d
    β”‚   β”œβ”€β”€ post
    β”‚   β”œβ”€β”€ post.d
    β”‚   β”œβ”€β”€ pre
    β”‚   β”œβ”€β”€ pre.d
    β”‚   └── update_sg
    β”œβ”€β”€ command.rb
    β”œβ”€β”€ dummy
    β”‚   β”œβ”€β”€ clean
    β”‚   β”œβ”€β”€ clean.d
    β”‚   β”œβ”€β”€ post
    β”‚   β”œβ”€β”€ post.d
    β”‚   β”œβ”€β”€ pre
    β”‚   β”œβ”€β”€ pre.d
    β”‚   └── update_sg
    β”œβ”€β”€ ebtables
    β”‚   β”œβ”€β”€ clean
    β”‚   β”œβ”€β”€ clean.d
    β”‚   β”œβ”€β”€ Ebtables.rb
    β”‚   β”œβ”€β”€ post
    β”‚   β”œβ”€β”€ post.d
    β”‚   β”œβ”€β”€ pre
    β”‚   β”œβ”€β”€ pre.d
    β”‚   └── update_sg
    β”œβ”€β”€ fw
    β”‚   β”œβ”€β”€ clean
    β”‚   β”œβ”€β”€ clean.d
    β”‚   β”œβ”€β”€ post
    β”‚   β”œβ”€β”€ post.d
    β”‚   β”œβ”€β”€ pre
    β”‚   β”œβ”€β”€ pre.d
    β”‚   └── update_sg
    β”œβ”€β”€ hooks
    β”‚   β”œβ”€β”€ clean
    β”‚   β”‚   └── firecracker
    β”‚   β”œβ”€β”€ post
    β”‚   └── pre
    β”‚       └── firecracker
    β”œβ”€β”€ nic.rb
    β”œβ”€β”€ no_vlan.rb
    β”œβ”€β”€ ovswitch
    β”‚   β”œβ”€β”€ clean
    β”‚   β”œβ”€β”€ clean.d
    β”‚   β”œβ”€β”€ OpenvSwitch.rb
    β”‚   β”œβ”€β”€ OpenvSwitch.rb.rpmsave
    β”‚   β”œβ”€β”€ post
    β”‚   β”œβ”€β”€ post.d
    β”‚   β”œβ”€β”€ pre
    β”‚   β”œβ”€β”€ pre.d
    β”‚   └── update_sg
    β”œβ”€β”€ ovswitch_vxlan
    β”‚   β”œβ”€β”€ clean
    β”‚   β”œβ”€β”€ clean.d
    β”‚   β”œβ”€β”€ OpenvSwitchVXLAN.rb
    β”‚   β”œβ”€β”€ post
    β”‚   β”œβ”€β”€ post.d
    β”‚   β”œβ”€β”€ pre
    β”‚   β”œβ”€β”€ pre.d
    β”‚   └── update_sg
    β”œβ”€β”€ security_groups_iptables.rb
    β”œβ”€β”€ security_groups.rb
    β”œβ”€β”€ sg_driver.rb
    β”œβ”€β”€ vcenter
    β”‚   β”œβ”€β”€ clean
    β”‚   β”œβ”€β”€ clean.d
    β”‚   β”œβ”€β”€ post
    β”‚   β”œβ”€β”€ post.d
    β”‚   β”œβ”€β”€ pre
    β”‚   β”œβ”€β”€ pre.d
    β”‚   └── update_sg
    β”œβ”€β”€ vlan.rb
    β”œβ”€β”€ vm.rb
    β”œβ”€β”€ vnm_driver.rb
    β”œβ”€β”€ vnmmad.rb
    └── vxlan
        β”œβ”€β”€ clean
        β”œβ”€β”€ clean.d
        β”œβ”€β”€ post
        β”œβ”€β”€ post.d
        β”œβ”€β”€ pre
        β”œβ”€β”€ pre.d
        β”œβ”€β”€ update_sg
        β”œβ”€β”€ vxlan_driver.rb
        └── vxlan.rb

193 directories, 628 files

Hello everyone
I have the same problem as @madko
But, in my case, the command "echo
'<MONITOR_CONFIGURATION><DATASTORE_LOCATION><![CDATA[/var/lib/one/… " suggested by @cgonzalez has in some way β€˜revived’ / β€˜reactivated’ the communication between nodes and frontend.

Hi

I have realized we have a similar problem (Onehost sync fails during 5.12.0 upgrade) upgrading from 5.8.1 to 5.12.0 in CentOS 7.8

Also we can confirm the this command executed from any hyp:

echo '<MONITOR_CONFIGURATION><DATASTORE_LOCATION><![CDATA[/var/lib/one//datastores]]></DATASTORE_LOCATION><DB><CONNECTIONS><![CDATA[15]]></CONNECTIONS></DB><HOST_MONITORING_EXPIRATION_TIME><![CDATA[43200]]></HOST_MONITORING_EXPIRATION_TIME><IM_MAD><ARGUMENTS><![CDATA[-r 3 -t 15 -w 90 kvm]]></ARGUMENTS><EXECUTABLE><![CDATA[one_im_ssh]]></EXECUTABLE><NAME><![CDATA[kvm]]></NAME><SUNSTONE_NAME><![CDATA[KVM]]></SUNSTONE_NAME><THREADS><![CDATA[0]]></THREADS></IM_MAD><IM_MAD><ARGUMENTS><![CDATA[-r 3 -t 15 -w 90 lxd]]></ARGUMENTS><EXECUTABLE><![CDATA[one_im_ssh]]></EXECUTABLE><NAME><![CDATA[lxd]]></NAME><SUNSTONE_NAME><![CDATA[LXD]]></SUNSTONE_NAME><THREADS><![CDATA[0]]></THREADS></IM_MAD><IM_MAD><ARGUMENTS><![CDATA[-r 3 -t 15 -w 90 firecracker]]></ARGUMENTS><EXECUTABLE><![CDATA[one_im_ssh]]></EXECUTABLE><NAME><![CDATA[firecracker]]></NAME><SUNSTONE_NAME><![CDATA[Firecracker]]></SUNSTONE_NAME><THREADS><![CDATA[0]]></THREADS></IM_MAD><IM_MAD><ARGUMENTS><![CDATA[-c -t 15 -r 0 vcenter]]></ARGUMENTS><EXECUTABLE><![CDATA[one_im_sh]]></EXECUTABLE><NAME><![CDATA[vcenter]]></NAME><SUNSTONE_NAME><![CDATA[VMWare vCenter]]></SUNSTONE_NAME></IM_MAD><IM_MAD><ARGUMENTS><![CDATA[-r 3 -t 15 -w 90 dummy]]></ARGUMENTS><EXECUTABLE><![CDATA[one_im_sh]]></EXECUTABLE><NAME><![CDATA[dummy]]></NAME><SUNSTONE_NAME><![CDATA[Dummy]]></SUNSTONE_NAME><THREADS><![CDATA[0]]></THREADS></IM_MAD><LOG><DEBUG_LEVEL><![CDATA[3]]></DEBUG_LEVEL><SYSTEM><![CDATA[FILE]]></SYSTEM></LOG><MANAGER_TIMER><![CDATA[15]]></MANAGER_TIMER><MONITORING_INTERVAL_HOST><![CDATA[180]]></MONITORING_INTERVAL_HOST><NETWORK><ADDRESS><![CDATA[0.0.0.0]]></ADDRESS><MONITOR_ADDRESS><![CDATA[auto]]></MONITOR_ADDRESS><PORT><![CDATA[4124]]></PORT><PRIKEY><![CDATA[]]></PRIKEY><PUBKEY><![CDATA[]]></PUBKEY><THREADS><![CDATA[8]]></THREADS></NETWORK><PROBES_PERIOD><BEACON_HOST><![CDATA[30]]></BEACON_HOST><MONITOR_HOST><![CDATA[120]]></MONITOR_HOST><MONITOR_VM><![CDATA[30]]></MONITOR_VM><STATE_VM><![CDATA[5]]></STATE_VM><SYNC_STATE_VM><![CDATA[180]]></SYNC_STATE_VM><SYSTEM_HOST><![CDATA[600]]></SYSTEM_HOST></PROBES_PERIOD><VM_MONITORING_EXPIRATION_TIME><![CDATA[43200]]></VM_MONITORING_EXPIRATION_TIME><HOST_ID>0</HOST_ID></MONITOR_CONFIGURATION>' | /var/tmp/one/im/run_monitord_client kvm 0 localhost-kvm

Somehow has triggered the monitoring for the hyp with id 0 from the server, so in our case that hyp now is in enabled, but the rest of them are still in error state.

Hi

Maybe this is related, but in our case we have fixed the onehost in error status with this workaround (Onehost sync fails during 5.12.0 upgrade). The onehost sync should work correctly as oneadmin user. After that fix our hosts are now available again.

Cheers
Álvaro

1 Like

Hello @madko and @Marco, the last command I suggested is the same command that OpenNebula execute for starting the monitoring agents inside the hypervisor nodes. For some reason this command cannot be executed by OpenNebula in your environment. Can you both confirm that you executed the ssh command as oneadmin and in the frontend node?

If you did it, you can use this modified version of CommandManager.rb so we can get some debug information for your case. You will need to

  • Replace /usr/lib/one/ruby/CommandManager.rb in your frontend by this one (backup the original previously).
  • Puts your host in offline state.
  • Restart OpenNebula service.
  • Enable your host back again.
  • Check for the debug information in /tmp/debug_info and send us the output.

Also you can try to execute the command with the arguments and STDIN shown in /tmp/debug_info and let us know if you see any error.

Yeah! Removing all the backups etc.20xx-xx-xx made with an other user than oneadmin (like root) from previous upgrades fixed everything. onehost sync is now working perfectly, monitoring is working and hosts are not in ERROR state anymore.

I guess this part needs some improvement to raise better error messages in the logs. Because even in debug level I had no clue that this could be such a simple problem.

Anyway, thank you all for your help. I’m now enjoying OpenNebula 5.12.

best regards,
Edouard

Agree with @madko
I also have some files belonging to root user
After a chown, all problems are gone.
onehost sync is working and the hosts are no longer in error.

Thanks everybody!
Regards,
Marco

Thanks. @Marco

This helped me as well with an upgrade on one of our environments.