Але за великої кількості підключень спрацьовують обмеження на кількість одночасних сесій підключень.
 |
| Proxmos VE, Shell, dmesg |
 |
| Not help, /etc/sysctl.conf |
 |
| Proxmox VE, GUI, Node, Firewall. Options. nf_conntrack_max |
Моніторинг значень - nf_conntrack_count: "watch -n 1 "cat /proc/sys/net/netfilter/nf_conntrack_count"
 |
| watch -n 1 "cat /proc/sys/net/netfilter/nf_conntrack_count" |
Proxmox VE server періодично робить резервні копії до NFS спільної теки котра розміщена на NAS сервері.
NAS це TrueNAS сервер що зберігає дані у ZFS файловій системі. TrueNAS автоматично налаштований робити періодичні знімки (snapshots) ZFS dataset де розміщенні дані для NFS теки.
У VM сервера знайдено підозрілі файли за назвою "." розміром 1024 bytes з бінарним вмістом. Необхідно провести аналіз в "offline copy" сервера.
Відновити віртуальну машину з попередньої резервної копії.
Під'єднати попередні періодичні знімки (snapshots) ZFS dataset, що створені на стороні NAS сервера, для відновлення віртуальної машини з її резервної копії.
 |
| Proxmox console. |
Знайдено цільовий шлях де зберігаються потрібні резервні копії: /mnt/pve/nfs-ns58-10g/.zfs/snapshot/auto-2024-10-11_00-00
Є віртуальна машина з FreeBSD під керуванням Proxmox VE.
Є застосунок 'pleroma' котрий працює на базі erlang.
Для підтримання інфраструктури операційна система оновлюється і пакунки
підтримуються в актуальному стані.
Застосунок працює, в пам'яті, все
нормально. Користувачі заносять нові дані...
UPS CyberPower CP 1500C - USB connection
В материнці підключати до портів USB що не є версією 3.0 і вище.
|
|
USB 3.0 - Error |
|
| USB 2.0 - OK |
Примітка. Відновлення старого фізичного сервера, перемістивши його на віртуальну машину на Proxmox VE. Створення iSCSI диску та його монтування при завантажені операційної системи. FreeBSD 9.0.
Основне правило адміністратора, працює не чіпай. Призводить то того що рано чи пізно це вилазить боком. На кшталт не можеш нічого оновити та встановити.
Тому мені історично діставався цей сервер котрий треба перемістити до віртуального середовища поки "/raid1" масив ще працює після нового його збою, але варто зауважити міцний горішок.
Є декілька способів як перемістити систему з фізичного до віртуального. Але я не хотів переносити усі накопиченні проблеми, і вирішив перенести все окрім ядра та базової системи використовуючи rsync.
Маю операційну систему FreeBSD 14.1-RELEASE у віртуальному середовищі Proxmox VE.
Щойно оновив поштовий сервер з FreeBSD 13.1-RELEASE, і з'ясувалося що я не можу тепер встановити POSTFIX та mariadb-client одночасно, як це було раніше. Тому це нотатка мені як я розв'язав цю проблему, щоб не наступати на ті самі граблі двічі.
Коли встановлено у Вас mariadb-server та mariadb-client на одному сервері, то при встановленні поштового сервера postfix як пакунок через pkg install postfix-mysql, або з портів з опцією MySQL.
 |
| postfix freebsd port, mysql option |
OS: FreeBSD.
Disk: GPT, UFS.
Proxmox increase live disk of VM.
gpart commit vtbd1 gpart show vtbd1 gpart resize -i 1 vtbd1 gpart show vtbd1 df -h growfs /dev/gpt/cloud-data df -h
Зараз є проблема оновлення з 7 до 8 версій Proxmos у власників не нових серверів з VGA Matrox MGA G200eW WPCM450 - є чорний екран.
Собі щоб не забути зробив нотатки.
lspci | grep VGA 08:01.0 VGA compatible controller: Matrox Electronics Systems Ltd. MGA G200eW WPCM450 (rev 0a)Основні зміни в /etc/default/grub:
GRUB CMDLINE LINUX="nomodeset" GRUB TERMINAL=console GRUB GFXMODE=nomodeset
 |
| /etc/default/grub |
Задача - коректно зберігати базу даних при створені знімку віртуальної машини в Proxmox.
Що є:
Proxmox VE, VM з сервером FreeBSD 13, база даних postgresql.
Встановлюю qemu-guest-agent.
pkg version -x qemu-guest-agent
qemu-guest-agent-8.0.2
Налаштовую qemu-guest-agent:
/etc/rc.d
qemu_guest_agent_enable="YES"
qemu_guest_agent_flags="-d -v --fsfreeze-hook"
scripts/qemu-guest-agent/fsfreeze-hook
#!/bin/sh
# This script is executed when a guest agent receives fsfreeze-freeze and
# fsfreeze-thaw command, if it is specified in --fsfreeze-hook (-F)
# option of qemu-ga or placed in default path (/etc/qemu/fsfreeze-hook).
# When the agent receives fsfreeze-freeze request, this script is issued with
# "freeze" argument before the filesystem is frozen. And for fsfreeze-thaw
# request, it is issued with "thaw" argument after filesystem is thawed.
LOGFILE=/var/log/qga-fsfreeze-hook.log
FSFREEZE_D=$(dirname -- "$0")/fsfreeze-hook.d
# Check whether file $1 is a backup or rpm-generated file and should be ignored
is_ignored_file() {
case "$1" in
*~ | *.bak | *.orig | *.rpmnew | *.rpmorig | *.rpmsave | *.sample | *.dpkg-old | *.dpkg-new | *.dpkg-tmp | *.dpkg-dist | *.dpkg-bak | *.dpkg-backup | *.dpkg-remove)
return 0 ;;
esac
return 1
}
# Iterate executables in directory "fsfreeze-hook.d" with the specified args
[ ! -d "$FSFREEZE_D" ] && exit 0
for file in "$FSFREEZE_D"/* ; do
is_ignored_file "$file" && continue
[ -x "$file" ] || continue
printf "$(date): execute $file $@\n" >>$LOGFILE
"$file" "$@" >>$LOGFILE 2>&1
STATUS=$?
printf "$(date): $file finished with status=$STATUS\n" >>$LOGFILE
done
exit 0
/usr/local/etc/qemu/fsfreeze-hook.d/pg-flush.sh
#!/bin/sh
# Flush PGSQL tables to the disk before the filesystem is frozen.
# At the same time, this keeps a read lock in order to avoid write accesses
# from the other clients until the filesystem is thawed.
case "$1" in
freeze)
logger -t pg-flush "freeze pg before stop service"
service postgresql stop
sync
logger -t pg-flush "freeze pg after sync"
;;
thaw)
logger -t pg-flush "thaw pg starting service"
service postgresql start
logger -t pg-flush "thaw pg service `service postgresql status`"
;;
*)
exit 1
;;
esac
 |
| Proxmox snapshot VM |
Aug 1 17:39:24 pleroma pg-flush[40320]: freeze pg before stop service Aug 1 17:39:24 pleroma postgres[29734]: [10-1] 2023-08-01 17:39:24.116 [29734] FATAL: terminating connection due to administrator command Aug 1 17:39:24 pleroma postgres[29739]: [10-1] 2023-08-01 17:39:24.116 [29739] FATAL: terminating connection due to administrator command Aug 1 17:39:24 pleroma postgres[29736]: [10-1] 2023-08-01 17:39:24.116 [29736] FATAL: terminating connection due to administrator command Aug 1 17:39:24 pleroma postgres[29733]: [10-1] 2023-08-01 17:39:24.116 [29733] FATAL: terminating connection due to administrator command Aug 1 17:39:24 pleroma postgres[29738]: [10-1] 2023-08-01 17:39:24.116 [29738] FATAL: terminating connection due to administrator command Aug 1 17:39:24 pleroma postgres[29730]: [10-1] 2023-08-01 17:39:24.116 [29730] FATAL: terminating connection due to administrator command Aug 1 17:39:24 pleroma postgres[29735]: [10-1] 2023-08-01 17:39:24.116 [29735] FATAL: terminating connection due to administrator command Aug 1 17:39:24 pleroma postgres[29737]: [10-1] 2023-08-01 17:39:24.116 [29737] FATAL: terminating connection due to administrator command Aug 1 17:39:24 pleroma postgres[29731]: [10-1] 2023-08-01 17:39:24.116 [29731] FATAL: terminating connection due to administrator command Aug 1 17:39:24 pleroma postgres[16588]: [10-1] 2023-08-01 17:39:24.116 [16588] FATAL: terminating connection due to administrator command Aug 1 17:39:24 pleroma postgres[37548]: [10-1] 2023-08-01 17:39:24.116 [37548] FATAL: terminating connection due to administrator command Aug 1 17:39:24 pleroma postgres[47096]: [10-1] 2023-08-01 17:39:24.116 [47096] FATAL: terminating connection due to administrator command Aug 1 17:39:24 pleroma postgres[29742]: [10-1] 2023-08-01 17:39:24.116 [29742] FATAL: terminating connection due to administrator command Aug 1 17:39:24 pleroma postgres[47073]: [10-1] 2023-08-01 17:39:24.116 [47073] FATAL: terminating connection due to administrator command Aug 1 17:39:24 pleroma postgres[47076]: [10-1] 2023-08-01 17:39:24.116 [47076] FATAL: terminating connection due to administrator command Aug 1 17:39:24 pleroma pg-flush[40334]: freeze pg after sync Aug 1 17:39:24 pleroma pg-flush[40343]: thaw pg starting service Aug 1 17:39:24 pleroma pg-flush[40365]: thaw pg service pg_ctl: server is running (PID: 41234) /usr/local/bin/postgres "-D" "/var/db/postgres/data12"
Буває що віртуальна машина використовує якийсь довготривалий розрахунок. А якщо що ?
То всі результати розрахунку пропали ?
Тому ось простий скрипт що періодично створює знімок віртуальної машини (snapshot) зі станом пам'яті. Також змінює назву збільшуючи її на одиницю.
#!/usr/bin/env bash
PATH=$PATH:/usr/sbin
VM=309
prevsn=$(qm listsnapshot ${VM} | head -n 1 | awk '{print $2}')
if [ "$prevsn" == "current" ];then
snname="a1"
else
snname="a$(( ${prevsn:1} + 1 ))"
fi
echo prev:$prevsn new:${snname}
qm snapshot $VM ${snname} --vmstate true
if [ $? -eq 0 ] && [ "$prevsn" != "current" ];then
echo "all ok with new snapshot: ${snname}, remove prev: $prevsn"
qm delsnapshot $VM $prevsn
fi
Результат:
 |
| bash result |
При переносі віртуальних машин з ноду в кластер необхідно мати пустий нод, і номера віртуальних машин що не конфліктують з іншими.
Для вирішення цієї задачі простіше і надійніше використати метод створення резервної копії і потім її відновлення в кластері.
Але я створив малий скрип що допомагає обійтися без цього методу.
Тому цей простий скрип перейменовує гуртом віртуальні машини з номерами 1ХХ на 6ХХ і де дані зберігаються на ZFS диску з назвою 'mdata'.
В деяких ситуаціях HA (High Availability) системи Proxmox для віртуальних машин не допомагає.
Такою ситуацією є випадок коли резервна копія віртуальної машини налаштована як stop mode, а не snapshot mode.
І бувають ситуації на кшталт цієї:
INFO: timeout waiting on systemd command 'qm start 101 --skiplock' failed: exit code 255 ERROR: Backup of VM 101 failed - timeout waiting on systemd INFO: Failed at 2022-02-11 01:15:48 INFO: Backup job finished with errors
Тому простий скрипт котрий запускає за розкладом crond вирішує цю задачу:
#!/bin/sh
vmlist="101 102"
for i in $vmlist; do
status=$(/usr/sbin/qm status $i)
echo $status
if [ ! "${status}" = "status: running" ];then
echo "BAD"
/usr/sbin/qm start $i
else
echo "OK"
fi
done
corontab -e
# For more information see the manual pages of crontab(5) and cron(8) # # m h dom mon dow command */30 * * * * /home/check-vm.sh 2>1 >/dev/null
 |
| Результат роботи скрипту |
Як взаємодіє гіпервізор з віртуальними машинами ?
Один з варіантів використати агент для віртуальної машини.
У Proxmox це qemu-agent [1], від існує для різних операційних систем.
Так для FreeBSD існує версія пакунку "qemu-guest-agent-5.0.1 QEMU guest-agent utilities", з функціоналом але дещо обмеженим.
Для роботи з агентом є команда qm guest.
qm guest cmd <vmid> <command>
qm guest exec-status <vmid> <pid>
qm guest passwd <vmid> <username> [OPTIONS]
qm guest exec <vmid> [<extra-args>] [OPTIONS]
Ситуація така - помер системний диск Proxmox.
З даними віртуальних машин не проблема вони на інших ZFS дисках, а ось файл конфігурації невідомий.
Добре що були резервні копії віртуальних машин на NFS спільному ресурсі, і в них є копія конфігураційного файлу, але для деяких не дуже важливих віртуальних машин копій не було.
Тому пошуки ...
Диск не завантажувався, тому завантажуємося з USB Live Ubuntu, а проблемний диск підключаємо через SATA-USB адаптер потім.
 |
| dmesg |
Виявлено три розділи: sdb: sdb1 sdb2 sdb3
Proxmox має вбудований механізм створення резервних копій образів віртуальних машин, але копія налаштувань самого гіпервізору відсутня в community version.
Тому спільнота створює власні механізми, один з них проєкт від DerDanilo: https://github.com/DerDanilo/proxmox-stuff
Де є скрипт резервного копіювання основних файлів до архівної теки, і опис як відновити.
Ось його копія:
#!/bin/bash
# Version 0.2.2 - BETA ! !
# Date 02.20.2020
# Author DerDanilo
# Contributors aboutte, xmirakulix, bootsie123
# set vars
# always exit on error
set -e
# permanent backups directory
# default value can be overridden by setting environment variable before running prox_config_backup.sh
# example: export BACK_DIR="/mnt/pve/media/backup
_bdir=${BACK_DIR:-/mnt/backups/proxmox}
# number of backups to keep before overriding the oldest one
MAX_BACKUPS=5
# temporary storage directory
_tdir=${TMP_DIR:-/var/tmp}
_tdir=$(mktemp -d $_tdir/proxmox-XXXXXXXX)
function clean_up {
echo "Cleaning up"
rm -rf $_tdir
}
# register the cleanup function to be called on the EXIT signal
trap clean_up EXIT
# Don't change if not required
_now=$(date +%Y-%m-%d.%H.%M.%S)
_HOSTNAME=$(hostname -f)
_filename1="$_tdir/proxmoxetc.$_now.tar"
_filename2="$_tdir/proxmoxpve.$_now.tar"
_filename3="$_tdir/proxmoxroot.$_now.tar"
_filename4="$_tdir/proxmoxcron.$_now.tar"
_filename5="$_tdir/proxmoxvbios.$_now.tar"
_filename6="$_tdir/proxmoxpackages.$_now.list"
_filename_final="$_tdir/proxmox_backup_"$_HOSTNAME"_"$_now".tar.gz"
##########
function description {
clear
cat </dev/null)" != "" ] ; then
echo backing up custom video bios...
tar --warning='no-file-ignored' -cvPf "$_filename5" /usr/share/kvm/*.vbios
fi
# copy installed packages list
echo "Copying installed packages list from APT"
apt-mark showmanual | tee "$_filename6"
}
function compressandarchive {
echo "Compressing files"
# archive the copied system files
tar -cvzPf "$_filename_final" $_tdir/*.{tar,list}
# copy config archive to backup folder
# this may be replaced by scp command to place in remote location
cp $_filename_final $_bdir/
}
function stopservices {
# stop host services
for i in pve-cluster pvedaemon vz qemu-server; do systemctl stop $i ; done
# give them a moment to finish
sleep 10s
}
function startservices {
# restart services
for i in qemu-server vz pvedaemon pve-cluster; do systemctl start $i ; done
# Make sure that all VMs + LXC containers are running
qm startall
}
##########
description
are-we-root-abort-if-not
check-num-backups
# We don't need to stop services, but you can do that if you wish
#stopservices
copyfilesystem
# We don't need to start services if we did not stop them
#startservices
compressandarchive
В Proxmox було встановлено мережеву карту 1Gb Intel 82576 з метою використання функціоналу SR-IOV для ефективного використання для віртуальних мереж.
|
| SR-IOV |
|
| SR-IOV |
Proxmox. ZFS. HDD 3 TB.
Так сталося що випадково проініціалізував не той диск за допомогою команди fdisk: g create a new empty GPT partition table.
Так я зрозумів що накоїв і диск ZFS працював зі старою partitional table доки не перезавантажиться система, тому почав створювати свіжі резервні копії, на мережевий диск ceph. І відновив віртуальні машини на іншому сервері.
Після копіювання, перезавантажив систему - диск пустий.
 |
| TestDisk scan ZFS |
#rm -rf /etc/systemd/system/ceph*
#killall -9 ceph-mon ceph-mgr ceph-mds
#rm -rf /var/lib/ceph/mon/ /var/lib/ceph/mgr/ /var/lib/ceph/mds/
#pveceph purge
#apt purge ceph-mon ceph-osd ceph-mgr ceph-mds
#rm /etc/init.d/ceph
#pvdisplay
File descriptor 7 (pipe:[1486785]) leaked on pvdisplay invocation. Parent PID 382397: bash
--- Physical volume ---
PV Name /dev/sdc
VG Name ceph-adc898bc-44ea-43a1-8279-964e06acc8d5
PV Size 931.51 GiB / not usable 1.71 MiB
Allocatable yes (but full)
PE Size 4.00 MiB
Total PE 238467
Free PE 0
Allocated PE 238467
PV UUID 3LBrIs-Eh8t-wljP-WDMv-DxiX-CKAd-vXCyHf
#vgremove ceph-adc898bc-44ea-43a1-8279-964e06acc8d5
File descriptor 7 (pipe:[1486785]) leaked on vgremove invocation. Parent PID 382397: bash
Do you really want to remove volume group "ceph-adc898bc-44ea-43a1-8279-964e06acc8d5" containing 1 logical volumes? [y/n]: y
Do you really want to remove and DISCARD active logical volume ceph-adc898bc-44ea-43a1-8279-964e06acc8d5/osd-block-ca1b00e7-bafc-4c7a-97aa-a83bcd784173? [y/n]: y
Logical volume "osd-block-ca1b00e7-bafc-4c7a-97aa-a83bcd784173" successfully removed
Volume group "ceph-adc898bc-44ea-43a1-8279-964e06acc8d5" successfully removed
#pvremove /dev/sdc
File descriptor 7 (pipe:[1486785]) leaked on pvremove invocation. Parent PID 382397: bash
Labels on physical volume "/dev/sdc" successfully wiped.
Для використання в віртуальних машинах у Proxmox віртуальних мережевих
інтерфейсів.
|
| How SR-IOV works |
16.2. PCI Device Assignment with SR-IOV Devices Red Hat Enterprise Linux 7
SR-IOV devices can share a single physical port with multiple virtual
machines.
When an SR-IOV VF is assigned to a virtual machine, it can be
configured to (transparently to the virtual machine) place all network traffic
leaving the VF onto a particular VLAN. The virtual machine cannot detect that
its traffic is being tagged for a VLAN, and will be unable to change or
eliminate this tagging.
Virtual Functions have near-native performance
and provide better performance than paravirtualized drivers and emulated
access. Virtual Functions provide data protection between virtual machines on
the same physical server as the data is managed and controlled by the
hardware.
These features allow for increased virtual machine density on
hosts within a data center.
SR-IOV is better able to utilize the
bandwidth of devices with multiple guests.
tsig-keygen -a HMAC-SHA512 ns240 > ns240.key
ns240.key:
key "ns240"
{ algorithm hmac-sha512;
secret "VLv54K+dqSSk9lF75GKREQI8BT0ZYBs9BraQY3D/6f5b1Aw41NN86BwxRNATu7iDoEAiqTCUOk7B6SfxG7Q30A==";
};
named.conf:
key "ns240.key" {
algorithm hmac-sha512;
secret "VLv54K+dqSSk9lF75GKREQI8BT0ZYBs9BraQY3D/6f5b1Aw41NN86BwxRNATu7iDoEAiqTCUOk7B6SfxG7Q30A==";
};
zone "lexxai.pp.ua"
{
type master;
file "/usr/local/etc/namedb/master/db.lexxai.pp.ua";
allow-query { any; };
update-policy {
grant ns240.key. name _acme-challenge.ns240.lexxai.pp.ua. TXT;
grant ns241.key. name _acme-challenge.ns241.lexxai.pp.ua. TXT;
};
};
|
|
Proxmox ACME DNS plugin |
NSUPDATE_SERVER=ns1.lexxai.pp.ua
NSUPDATE_KEY=/home/nskey/ns240.key
NSUPDATE_ZONE=lexxai.pp.ua
key path: /home/nskey/ns240.key
chown nobody:nogroup /home/nskey/ns240.key
