Proxmox VE, firewall, nf_conntrack_max, nf_conntrack_count

Є Hypervisor, Proxmox VE з ввімкненим firewall на рівні Proxmox, через те, що запущені VM з Proxy сервером "Squid", і бажано обмежити доступ до потенційного доступу до локальної мережі.

Але за великої кількості підключень спрацьовують  обмеження на кількість одночасних сесій підключень.

Proxmos VE, Shell, dmesg

Для стандартних рішень з Ubuntu є змінна файлу з додавань певних рядків у  /etc/sysctl.conf, але усі значення перевизначаються і бачимо постійно значення за замовчуванням.

Not help, /etc/sysctl.conf

Але знайшов давній пост де є пропозиція використати налаштування GUI Proxmox. І це допомогло.

Proxmox VE, GUI, Node, Firewall. Options. nf_conntrack_max

Моніторинг значень - nf_conntrack_count: "watch -n 1 "cat /proc/sys/net/netfilter/nf_conntrack_count"

watch -n 1 "cat /proc/sys/net/netfilter/nf_conntrack_count"

 

Нотатка для себе. UPS, NUT. Ubuntu (Proxmox VE, Proxmox Backup), FreeBSD, Windows

UPS CyberPower CP 1500C - USB connection

В материнці підключати до портів USB що не є версією 3.0 і вище.

USB 3.0 - Error

USB 2.0 - OK

Нотатка: збільшення диску iscsi, TrueNAS, zfs, ubuntu

Блочний пристрій сервер Ubuntu - sda = 500G

lsblk
sda           8:0    0   500G  0 disk
└─sda1        8:1    0   500G  0 part

Збільшую том іscsi до 600G (TrueNAS).

Новий розмір тому для iscsi target

Нотатка: IPMI Watchdog timer, скидання та встановлення через ipmitool

Сучасні серверні материнські плати мають можливість контролювати свій "живий" стан через спеціальний сторожовий таймер (Watchdog timer).

Налаштування Watchdog Timer у BIOS.

 

Install JAVA, HADOOP, ELASTICSEARCH, CRAWLER - NUTCH on DEPLOY MODE. Problem: Store INDEX to ELASTICSEARCH (PART I)

The task is to create a web crawler of http sites using Apache-Nutch on multiple servers and store the index on the elasticsearch server. HADOOP with DFS file system is used to manage JAVA tasks.
A distributed version .job file was used to run Apache-Nutch via HADOOP.
Currently testing on one Ubuntu 22.04 LTS 'el-mix' server with IP 10.110.6.77.

Based on this :  https://phoenixnap.com/kb/install-hadoop-ubuntu

JAVA

root@el-mix:/home/developer# java -version; javac -version
bash: /usr/bin/java: No such file or directory
Command 'javac' not found, but can be installed with:
apt install default-jdk              # version 2:1.11-72build2, or
apt install openjdk-11-jdk-headless  # version 11.0.17+8-1ubuntu2~22.04
apt install openjdk-17-jdk-headless  # version 17.0.3+7-0ubuntu0.22.04.1
apt install ecj                      # version 3.16.0-1
apt install openjdk-18-jdk-headless  # version 18~36ea-1
apt install openjdk-8-jdk-headless   # version 8u312-b07-0ubuntu1
root@el-mix:/home/developer# apt install openjdk-11-jdk-headless
root@el-mix:/home/developer# java -version; javac -version
openjdk version "11.0.17" 2022-10-18
OpenJDK Runtime Environment (build 11.0.17+8-post-Ubuntu-1ubuntu222.04)
OpenJDK 64-Bit Server VM (build 11.0.17+8-post-Ubuntu-1ubuntu222.04, mixed mode, sharing)
javac 11.0.17

Install JAVA HADOOP, ELASTICSEARCH, CRAWLER - NUTCH on DEPLOY MODE , problem with last stage of store INDEX to ELASTICSEARCH on UBUNTU 22.04 (PART II)

DEPLOY RUN

developer@el-mix:~$ ./cr-deploy.sh


                Map output records=37
                Map output bytes=9749
                Map output materialized bytes=4790
                Input split bytes=1836
                Combine input records=0
                Spilled Records=37
                Failed Shuffles=0
                Merged Map outputs=0
                GC time elapsed (ms)=1189
                CPU time spent (ms)=9720
                Physical memory (bytes) snapshot=3526860800
                Virtual memory (bytes) snapshot=32680042496
                Total committed heap usage (bytes)=3002073088
                Peak Map Physical memory (bytes)=328626176
                Peak Map Virtual memory (bytes)=2730352640
        File Input Format Counters
                Bytes Read=8211
2022-12-01 02:48:46,099 ERROR indexer.IndexingJob: Indexing job did not succeed, job id: job_1669862098511_0011, job status: FAILED, reason: Task failed task_1669862098511_0011_r_000001
Job failed as tasks failed. failedMaps:0 failedReduces:1 killedMaps:0 killedReduces: 0

2022-12-01 02:48:46,119 ERROR indexer.IndexingJob: Indexer: java.lang.RuntimeException: Indexing job did not succeed, job id: job_1669862098511_0011, job status: FAILED, reason: Task failed task_1669862098511_0011_r_000001
Job failed as tasks failed. failedMaps:0 failedReduces:1 killedMaps:0 killedReduces: 0

        at org.apache.nutch.indexer.IndexingJob.index(IndexingJob.java:150)
        at org.apache.nutch.indexer.IndexingJob.run(IndexingJob.java:291)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:81)
        at org.apache.nutch.indexer.IndexingJob.main(IndexingJob.java:300)
        at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.base/java.lang.reflect.Method.invoke(Method.java:566)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:323)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:236)

Error running:
  /home/developer/nutch/runtime/deploy/bin/nutch index -Dmapreduce.job.reduces=2 -Dmapreduce.reduce.speculative=false -Dmapreduce.map.speculative=false -Dmapreduce.map.output.compress=true crawl/crawldb -linkdb crawl/linkdb crawl/segments/20221201024052 -deleteGone
Failed with exit value 255.

Нотатка для себе. SR-IOV та Intel 82576/82575 в віртуальному середовищі Proxmox для FreeBSD, Ubuntu.

В Proxmox було встановлено мережеву карту 1Gb Intel 82576 з метою використання функціоналу SR-IOV для ефективного використання для віртуальних мереж.

SR-IOV

SR-IOV

Proxmox була налаштована для PCI(e) Passthrough , IOMMU  до VM.

Блок живлення "RIDEN RD6006" в зборі, перше ввімкнення

Отримав корпус і саму панель керування RD6006

Довго мріяв зібрати, щось таке подібне, а тут день народження думаю зроблю собі подарунок - придбаю конструктор.
Багато чого вже написано про RD6006, тому тут просто візуальний звіт.

Нотатка для себе: openwrt usbip server, ubuntu usbip client, віддалений друк та сканування з Canon MF4120

Маю з старого нетбуку Asus 1001PX зроблений WiFi принт-сервер на основі OpenWRT. 

Старий Asus 1001PX та Canon MF4120

 Так як процесор Intel х86 і  пристрої мережевих карт не включенні з базову збірку в дистрибутиві, то я компілював власний образ  записав його на SD карту. Ноутбук без HDD, стартує з SD карти.

OpenWRT ASUS 1001PX

renew SSL certificate Let'Script by ACME script (DNS) for Tomcat web server

Я використовую проект OpenMeeting котрий працює на Tomcat web server (Java).

Стала задача використати SSL сертифікати від Let's Encript для OpenMeeting.

Але безкоштовні сертифікати мають особливість, короткий термін життя, і їх періодично потрібно оновлювати. Для звичайних Web серверів, існують скрипти які автоматично спрощують життя.

Для OpenMeeting і відповідно для Tomcat web server, дещо інше рішення так як сховищами ключів та сертифікатів є Java KeyStore.

Для генерації та оновлення сертифікати від Let's Encript є скрипт наш кшталт ACME. Я використовую цей скрипт під операційною системою Ubuntu 18.04 LTS в режимі DNS manual mode.

Нотатка: VNC Startup Ubuntu DISPLAY:0

Задача запустити VNC як аналог консольного дисплея з DISPLAY:0.
Є скрипт.

# ##################################################################
# Script Name : vnc-startup.sh
# Description : Perform an automated install of X11Vnc
#               Configure it to run at startup of the machine
# Date : Feb 2016
# Written by : Griffon
# Web Site :http://www.c-nergy.be - http://www.c-nergy.be/blog
# Version : 1.0
#
# Disclaimer : Script provided AS IS. Use it at your own risk....
#
# #################################################################

# Step 1 - Install X11VNC
# #################################################################
sudo apt-get install x11vnc -y

Як виправити проблему в Ubuntu коли прокидається комп'ютер зі сну і відсутність з'єднання мережі

Щось недавно, після виходу комп'ютера в операційній системі Ubuntu 16LTE (4.15.0.-45-generic) зі сну, почав відмічати відсутність локальної мережі.
З'ясував це не тільки я маю таку проблему і є рішення : [lubuntu] No network after waking up from suspend.
Спочатку треба визначити назву драйвера мережевого з'єднання: 

sudo lshw -C network | grep driver

Пошук назви мережевого драйвера

У мене це sky2.
Далі створюємо файл скрипт з правами на виконання : /lib/systemd/system-sleep/wakeon_suspend

sudo touch /lib/systemd/system-sleep/wakeon_suspend
sudo chmod +x /lib/systemd/system-sleep/wakeon_suspend

І редагуючи вставляємо наступний зміст, де ModName назва мережевого драйвера.

#!/bin/sh
ModName="sky2"
case $1/$2 in
 pre/*)
  echo "activate $2..."
  /bin/systemctl stop network-manager.service
  /sbin/modprobe -rf $ModName
  ;;
 post/*)
  echo "wakeup from $2..."
  /sbin/modprobe $ModName
  /bin/systemctl start network-manager.service
  ;;
esac

Після цього під час засинання скрипт буде видаляти драйвер мережевого інтерфейсу, а коли настав час просинатися скрипт буде інсталювати драйвер знову і перезапускати мережеву службу network-manager.

У мене це запрацювало.

Ubuntu 16.04. FreeRDP connect to console of Hyper-V 2016 virtual machine.

Керуючись публікацією Using FreeRDP to connect to the Hyper-V console - Cloudbase Solutions
Під'єднався з Ubuntu через SSH тунель до Hyper-V console. На базі Hyper-V 2016.

1. Визначаємо ID віртуальної машини "Server2008". Через RDP підключаємось до "HVServer". В консолі запускаємо PowerShell:
   Get-VM Server2008 | Select-Object Id
   Id
   --
   3327c485-12da4-4c1c-22ac-17f8fc378bb6
2. Ubuntu: створюємо тунель і прокидаємо порт 2179 локально.
   SSH tunel 127.0.0.1:2179  - > HVServer:2179
   ssh -L 2179:HVServer:2179 user@example.com
3. Підключаємось:
   xfreerdp /cert-ignore /vmconnect:3327c485-12da4-4c1c-22ac-17f8fc378bb6 /v:127.0.0.1 /u:administrator

Результат під'єднаної віртуальної машини "Server2008" у Ubuntu 16.04

Ubuntu IPv6 privacy

IPv6 - Wikipedia, Privacy

Розширення приватності ввімкнено по замовчуванню  в операційних системах: Windows (починаючи з XP SP1), OS X (починаючи з 10.7), and iOS (починаючи з 4.3).[31][32] Деякі дистрибутиви Linux мають також ввімкнене розширенням приватності.[33]
Ось так можна керувати розширенням приватності при використанні IPv6 у операційній системі Ubuntu 16.04.

Компіляція браузера Chromium для Ubuntu (x265, HEVC)

Є перевірена новина, що у експериментальній версії браузера Chromium 55.0.2850 для Windows з'явилася можливість програвати медіа файли формату (HEVC або він же h265).

Але стала необхідність скомпілювати браузера Chromium для операційної системи linux у моєму випадку це Ubuntu 16.04 з можливістю відтворювати формату (HEVC або він же h265).

eToken PKSC11 створення та використання ключів у Ubuntu

"Колись працював з модулем  для зберігання ключів : Aladin eToken NG-OTP 72k (Java) (hardware token).

Aladin eToken NG-OTP 72k (Java)

Вирішив підключити під ОС Ubuntu 16.04.

Ubuntu 16.04 віддалене підключення до робочого столу через x11vnc

Стала задача підключитися до віддаленого сервера під керуванням OS Ubuntu 16.04. Але потрібен був доступ не до віртуальних vnc сесій, а до реального робочого столу X11, з доступом до OpenGL ресурсів реальної відео карти.

 

 

Служба x11vnc

Реалізувати це можна за допомогою пакету x11vnc. Цей пакет копіює буфер екрану і передає до сервера vnc. А клієнт вже підключається до vnc сервера, за допомогою стандартних vnc клієнтів.
Програма повинна запускатися після запуску X11 сервера, і тому як зробити запуск x11vnc автоматичний у системі Ubuntu 16.04 описано у публікації: Ubuntu 16.04 – Configure your system to have x11vnc running at startup я протестував і це дійсно працює.
Основа це скрипт vnc-startup.sh.
Спочатку іде етап встановлення Spep 1, потім, Step 2, створення паролю за допомогою якого ми будемо підключатися до vnc сесії. Step 3 - віртуальне створення Service Unit File - /lib/systemd/system/x11vnc.service.

Розповсюдження готових програм створених за допомогою Qt у Ubuntu

Нова нотатка для себе.
Після компіляції програми у середовищі Qt  5.6 з використанням операційної системи Ubuntu 16.04 x64, стала задача перемістити програму на інший комп'ютер споживача, а не розробника.
Головна проблема що створити статичний файл програми не вийде у безкоштовній версії Qt, або може так я зрозумів. Для цього потрібно мати статично скомпільовану версію Qt. Тема про створення програм описана у документації Qt for Linux/X11 - Deployment.
Для роботи виконавчого файлу програми знадобляться динамічно завантажувальні бібліотеки. І головна задача зібрати усі бібліотеки що потрібні для роботи програми, на допомогу цьому прийде програма ldd (List Dynamic Dependencies). Вона покаже залежність, наприклад:

ldd ./Player 
 libesets_pac.so => /usr/lib/libesets_pac.so (0x00007f663b5ff000)
 libQtAV.so.1 => /home/lex/project-C/build/.../lib_linux_x86_64/libQtAV.so.1 (0x00007f663b221000)
 libQtAVWidgets.so.1 => /home/lex/project-C/build/.../libQtAVWidgets.so.1 (0x00007f663aff9000)
 libQt5Widgets.so.5 => /home/lex/Qt5.6.0/5.6/gcc_64/lib/libQt5Widgets.so.5 (0x00007f663a787000)
 libQt5Gui.so.5 => /home/lex/Qt5.6.0/5.6/gcc_64/lib/libQt5Gui.so.5 (0x00007f6639f8f000)
 libQt5Sql.so.5 => /home/lex/Qt5.6.0/5.6/gcc_64/lib/libQt5Sql.so.5 (0x00007f6639d4b000)
 libQt5Core.so.5 => /home/lex/Qt5.6.0/5.6/gcc_64/lib/libQt5Core.so.5 (0x00007f6639639000)
 libstdc++.so.6 => /usr/lib/x86_64-linux-gnu/libstdc++.so.6 (0x00007f66392b6000)
...  

Власні комбінації клавіш для примикання кожної з мов у ОС Ubuntu

Звик я для перемикань розкладок клавіатур не послідовно, а напряму, тобто для кожної мови своя комбінація. У OS Windows це робиться просто, під керуванням OS Ubuntu, це можна зробити теж, але не так явно, і потрібно знати магічні слова.
У моєму середовищі налаштовано дві мови: англійська та українська.

Вибір поточної мови для клавіатури у середовищі OS Ubuntu 16.04

Стандартне перемикання між мовами

Для додавання власних скорочень, переходимо у розділ: "Системні параметри-Обладнання-Клавіатура-Скорочення-Власне скорочення".
Натискаємо "+", і додаємо власні скорочення:

• назва: KeyLayout 0 - En
  команда: gsettings set org.gnome.desktop.input-sources current 0
• назва: KeyLayout 1 - Ukr
  команда: gsettings set org.gnome.desktop.input-sources current 1

Додавання додаткових комбінацій клавіш Ubuntu

Потім, після додавання, вибираємо потрібну мову зі списку доданих та на назначаємо потрібну компібнацю клавіш.
У мене це: Ctrl-Shift+1 для англійської, та Ctrl-Shift+2 для української розкладки клавіатури відповідно.

Використанні матеріали:

• Keyboard shortcuts for each input language

Ubuntu x64, skype - проблеми та їх виришення

Переходжу на використання Ubuntu як основну операційну систему.
І у моєму випадку не працювала зв’язка Ubuntu робоча станція версії 14.04, 64 розрядна і skype 4.3.0.37, і WebCam TRUST WB 3320X.

Linux Skype 4.3.0.37

Не працює відео