Install JAVA, HADOOP, ELASTICSEARCH, CRAWLER - NUTCH on DEPLOY MODE. Problem: Store INDEX to ELASTICSEARCH (PART I)

The task is to create a web crawler of http sites using Apache-Nutch on multiple servers and store the index on the elasticsearch server. HADOOP with DFS file system is used to manage JAVA tasks.
A distributed version .job file was used to run Apache-Nutch via HADOOP.
Currently testing on one Ubuntu 22.04 LTS 'el-mix' server with IP 10.110.6.77.

Based on this :  https://phoenixnap.com/kb/install-hadoop-ubuntu

JAVA

root@el-mix:/home/developer# java -version; javac -version
bash: /usr/bin/java: No such file or directory
Command 'javac' not found, but can be installed with:
apt install default-jdk              # version 2:1.11-72build2, or
apt install openjdk-11-jdk-headless  # version 11.0.17+8-1ubuntu2~22.04
apt install openjdk-17-jdk-headless  # version 17.0.3+7-0ubuntu0.22.04.1
apt install ecj                      # version 3.16.0-1
apt install openjdk-18-jdk-headless  # version 18~36ea-1
apt install openjdk-8-jdk-headless   # version 8u312-b07-0ubuntu1
root@el-mix:/home/developer# apt install openjdk-11-jdk-headless
root@el-mix:/home/developer# java -version; javac -version
openjdk version "11.0.17" 2022-10-18
OpenJDK Runtime Environment (build 11.0.17+8-post-Ubuntu-1ubuntu222.04)
OpenJDK 64-Bit Server VM (build 11.0.17+8-post-Ubuntu-1ubuntu222.04, mixed mode, sharing)
javac 11.0.17

Install JAVA HADOOP, ELASTICSEARCH, CRAWLER - NUTCH on DEPLOY MODE , problem with last stage of store INDEX to ELASTICSEARCH on UBUNTU 22.04 (PART II)

DEPLOY RUN

developer@el-mix:~$ ./cr-deploy.sh


                Map output records=37
                Map output bytes=9749
                Map output materialized bytes=4790
                Input split bytes=1836
                Combine input records=0
                Spilled Records=37
                Failed Shuffles=0
                Merged Map outputs=0
                GC time elapsed (ms)=1189
                CPU time spent (ms)=9720
                Physical memory (bytes) snapshot=3526860800
                Virtual memory (bytes) snapshot=32680042496
                Total committed heap usage (bytes)=3002073088
                Peak Map Physical memory (bytes)=328626176
                Peak Map Virtual memory (bytes)=2730352640
        File Input Format Counters
                Bytes Read=8211
2022-12-01 02:48:46,099 ERROR indexer.IndexingJob: Indexing job did not succeed, job id: job_1669862098511_0011, job status: FAILED, reason: Task failed task_1669862098511_0011_r_000001
Job failed as tasks failed. failedMaps:0 failedReduces:1 killedMaps:0 killedReduces: 0

2022-12-01 02:48:46,119 ERROR indexer.IndexingJob: Indexer: java.lang.RuntimeException: Indexing job did not succeed, job id: job_1669862098511_0011, job status: FAILED, reason: Task failed task_1669862098511_0011_r_000001
Job failed as tasks failed. failedMaps:0 failedReduces:1 killedMaps:0 killedReduces: 0

        at org.apache.nutch.indexer.IndexingJob.index(IndexingJob.java:150)
        at org.apache.nutch.indexer.IndexingJob.run(IndexingJob.java:291)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:81)
        at org.apache.nutch.indexer.IndexingJob.main(IndexingJob.java:300)
        at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.base/java.lang.reflect.Method.invoke(Method.java:566)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:323)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:236)

Error running:
  /home/developer/nutch/runtime/deploy/bin/nutch index -Dmapreduce.job.reduces=2 -Dmapreduce.reduce.speculative=false -Dmapreduce.map.speculative=false -Dmapreduce.map.output.compress=true crawl/crawldb -linkdb crawl/linkdb crawl/segments/20221201024052 -deleteGone
Failed with exit value 255.

Конвертувати JKS to pem,p12

1. source KEYSTORE.jks 
2. detect alias pb_sign_XXXXXXXXX 
3. relace on code alias to real 

script.sh:

echo "see alias like pb_sign_XXXXXXXXX"
#keytool -list -keystore KEYSTORE.jks
#exit

keytool -exportcert -alias  pb_sign_XXXXXXXXX \
 -keystore KEYSTORE.jks -rfc -file pb.pem

keytool -import -trustcacerts \
  -keystore pb.jks \
  -storepass 1PASSWORD2 -noprompt \
  -file pb.pem -alias pb_sign_XXXXXXXXX

keytool -importkeystore -srcstorepass  1PASSWORD2 \
 -srckeystore pb.jks -destkeystore pb.p12 \ 
 -srcstoretype jks -deststoretype pkcs12
rm pb.jks

4. result pb.pem 
5. result pb.p12

За матеріалами:

jks від Приватбанку конвертувати в pem та/або p12

renew SSL certificate Let'Script by ACME script (DNS) for Tomcat web server

Я використовую проект OpenMeeting котрий працює на Tomcat web server (Java).

Стала задача використати SSL сертифікати від Let's Encript для OpenMeeting.

Але безкоштовні сертифікати мають особливість, короткий термін життя, і їх періодично потрібно оновлювати. Для звичайних Web серверів, існують скрипти які автоматично спрощують життя.

Для OpenMeeting і відповідно для Tomcat web server, дещо інше рішення так як сховищами ключів та сертифікатів є Java KeyStore.

Для генерації та оновлення сертифікати від Let's Encript є скрипт наш кшталт ACME. Я використовую цей скрипт під операційною системою Ubuntu 18.04 LTS в режимі DNS manual mode.

Якщо після оновлленя Java у Вас не має поступу до ip-KVM

Час іде,  світ розвивається, і захищається. Тому Java принципово і глобально вирішило заборонити використання не надійні методи з'єднання та шифрування.
Так  як більшість IP-KVM використовують для підключення Java клієнти, а програмне забезпечення у IP-KVM не своєчасно оновлене, то у підключенні до сервера IP-KVM буде відмовлено за причини використання застарілого методу MDwithRSA.

Про відмовлення у з'єднанні

 Але якщо сильно треба, то за матеріалами Zhaojun's Blog,  то тимчасово можна відмінити це обмеження, відредагувавши файл "C:\Program Files (x86)\Java\jre1.8.0_151\lib\security\java.security" для версії Java 8 update 151.
Знайшовши файл рядок: jdk.jar.disabledAlgorithms=MD2, MD5, RSA keySize < 1024

Значення у файлі конфігурації

 І змінити можна закоментувати цей рядок, або придбати MD5.

Змінення файлу конфігурації

Інші посилання : Если после обновления Java не работает ip-KVM