MYCSS

10 березня 2024 р.

Feature Engineering | Google Cloud Skills Boost

Кроки для для здобуття необхідних навичок для спеціальностей з напрямку AI & Data на платформі Google Cloud Skills Boost завдяки можливості надданій Google Ukraine.

Курс: Feature Engineering

Feature Engineering - Mar 9, 2024
Summary

Want to know about Veex AI Feature Store? Want to know how you can improve the
accuracy of your ML models? What about how to nd which data columns make the most
useful features? Welcome to Feature Engineering, where we discuss good versus bad
features and how you can preprocess and transform them for optimal use in your models.
This course includes content and labs on feature engineering using BigQuery ML, Keras, and
TensorFlow.

7 березня 2024 р.

Задача для зображень "grey to rgb" у моделі #keras

Ось чому не можна використати FC з активатором "ReLU" для  цієї задачі: 

layers.Dense(3, activation="relu", name="gray_rgb", input_shape=(32,32,1))

FC, relu
Найкраще зробити підготовку dataset:
tx = np.repeat(x, 3, axis=-1)
або
tx = np.tile(x, (1, 1, 3))
Або шар Lambda (але я питання по збереження моделі до файлу):
layers.Lambda(lambda x: tf.repeat(x, 3, axis=-1))
Grey to RGB
rows = 4
plt.figure(figsize=(10,3*rows))
cols = rgb_images_train.shape[-1]
total = cols * rows
labels = ["R","G","B"]
for i in range(total):
    plt.subplot(rows,cols,i+1)
    plt.xticks([])
    plt.yticks([])
    plt.grid(False)
    id = i % cols
    rid = i // cols
    plt.imshow(rgb_images_train[0+rid,:,:,id], cmap=plt.cm.binary)
    plt.ylabel(f"Image {rid}, label: {np.argmax(y_train[rid])}")
    plt.xlabel(f"chanel {id} : '{labels[id]}'")
plt.show()
Або вже шар Conv2D:
layers.Conv2D(3, (1, 1), use_bias=False, padding="same", kernel_initializer="ones", name="conv2d_108", input_shape=(32,32,1))
Conv2D 1х1
activation_model = Model(inputs=model.input, 
                         outputs=[layer.output for layer in model.layers])

activations = activation_model.predict(x_test[0].reshape(1, 32, 32, 1))

for layer_index, layer_activation in enumerate(activations):
    print(f"{layer_index=}, {layer_activation.shape=}")
    if len(layer_activation.shape) == 4:  
        num_features = layer_activation.shape[-1]
        size = layer_activation.shape[1]

        rows = num_features // 1  
        cols = layer_activation.shape[-1]

        plt.figure(figsize=(16, 12))
        for i in range(num_features):
            plt.subplot(rows, cols, i + 1)
            img = layer_activation[0, :, :, i]
            plt.imshow(img, cmap='viridis')
            plt.axis('off')
            print("min:", np.min(img), "max",np.max(img))
        plt.tight_layout()
        plt.subplots_adjust(top=0.94)
        plt.suptitle(f'Layer {activation_model.layers[layer_index+1].name} Feature Maps')
        plt.show()

6 березня 2024 р.

TensorFlow on Google Cloud | Google Cloud Skills Boost

Кроки для для здобуття необхідних навичок для спеціальностей з напрямку AI & Data на платформі Google Cloud Skills Boost завдяки можливості надданій Google Ukraine.

Курс: TensorFlow on Google Cloud

TensorFlow on Google Cloud. Mar 5, 2024

Summary

This course covers designing and building a TensorFlow input data pipeline, building ML models with TensorFlow and Keras, improving the accuracy of ML models, writing ML models for scaled use, and writing specialized ML models.



#MachineLearning #MachineLearningModels #MachineLearningPipeline

BADGES



1 березня 2024 р.

Згорткові нейронні мережі (Conv), що таке знайоме :)

Ознайомлюючись з лекцію про "Згорткові нейронні мережі" (Conv) в темі "Python Data Sciense" школи GoIT. Думаю що ж таке знайоме.

convolutional neural network

Знаходжу код далекого 2014 року, де у браузері, в той час Chrome NaCL мав можливість виконувати порогами клієнта на С, компілювавши на стороні клієнта файл (.pexe), писали код котрий покращував зображення відео на "льоту" через OpenGL Shaders.

(Capture кадр відео, і поверх відео малював  OpenGL зображення, а оригінальне відео не було видно.)

Так от там і були операції як раз такі самі як у Conv kernel 3х3 , і середнє потім забиралося. 😀

const char kFragShaderSource[] =  "precision mediump float;\n"
 "uniform sampler2D u_texture;\n"
 "uniform float imgWidth;\n"
 "uniform float imgHeight;\n"
 "varying vec2 v_texcoord;\n"
 "float kernel[9];\n"
 "vec2 offset[9];\n"
 "float step_w = 1.0/imgWidth;\n"
 "float step_h = 1.0/imgHeight;\n"
 "void main() {\n"
 "offset[0] = vec2(-step_w, -step_h);\n"
 "offset[1] = vec2(0.0, -step_h);\n"
 "offset[2] = vec2(step_w, -step_h);\n"
 "offset[3] = vec2(-step_w, 0.0);\n"
 "offset[4] = vec2(0.0, 0.0);\n"
 "offset[5] = vec2(step_w, 0.0);\n"
 "offset[6] = vec2(-step_w, step_h);\n"
 "offset[7] = vec2(0.0, step_h);\n"
 "offset[8] = vec2(step_w, step_h);\n"
 "kernel[0] = 0.;\n"
 "kernel[1] = -.4;\n"
 "kernel[2] = 0.;\n"
 "kernel[3] = -.4;\n"
 "kernel[4] = 2.6;\n"
 "kernel[5] = -.4;\n"
 "kernel[6] = 0.;\n"
 "kernel[7] = -.4;\n"
 "kernel[8] = 0.;\n"
 "vec4 sum = vec4(0.0);\n"
 "int i;\n"
 "for (i = 0; i < 9; i++) {\n"
 "vec4 color = texture2D(u_texture, (vec2(1.0,1.0)-v_texcoord) + offset[i]);\n"
 "sum += color * kernel[i];\n"
 "}\n"
 "gl_FragColor = sum;\n"
 "}\n";

kernel:

 0.0  -0.4   0.0
-0.4   2.6  -0.4
 0.0  -0.4   0.0
Так як паддінгу не було, на жаль в коді.
То по периметру були проблеми на 1 піксель :)
"offset[0] = vec2(-step_w, -step_h);\n"

26 лютого 2024 р.

Launching into Machine Learning | Google Cloud Skills Boost

Кроки для для здобуття необхідних навичок для спеціальностей з напрямку AI & Data на платформі Google Cloud Skills Boost завдяки можливості надданій Google Ukraine.

Курс: Launching into Machine Learning

Launching into Machine Learning. Feb 26, 2024

 

Learning Objectives

● Describe how to improve data quality
● Peorm exploratory data analysis
● Build and train AutoML Models using Veex AI
● Build and train AutoML Models using BigQuery ML
● Optimize and evaluate models using loss functions and peormance metrics
● Create repeatable and scalable training, evaluation, and test datasets

Summary

The course begins with a discussion about data: how to improve data quality and peorm
exploratory data analysis. We describe Veex AI AutoML and how to build, train, and deploy
an ML model without writing a single line of code. You will understand the benets of Big
Query ML. We then discuss how to optimize a machine learning model and how
generalization and sampling can help assess the quality of ML models for custom training

#MachineLearning #MachineLearningModels #MachineLearningPipeline

BADGES


18 лютого 2024 р.

Introduction to AI and Machine Learning on Google Cloud | Google Cloud Skills Boost

Кроки для для здобуття необхідних навичок для спеціальностей з напрямку AI & Data на платформі Google Cloud Skills Boost завдяки можливості надданій Google Ukraine.

Курс: Introduction to AI and Machine Learning on Google Cloud

This course introduces the artificial intelligence (AI) and machine learning (ML) offerings on Google Cloud that support the data-to-AI lifecycle through AI foundations, AI development, and AI solutions. It explores the technologies, products, and tools available to build an ML model, an ML pipeline, and a generative AI project based on the different goals of users, including data scientists, AI developers, and ML engineers.

#MachineLearning #MachineLearningModels #MachineLearningPipeline


Introduction to AI and Machine Learning on Google Cloud | Google Cloud Skills Boost

BADGES

18 січня 2024 р.

"CSA - Помічник для збереження файлів з Coursera" - розширення для браузера. Оновлення - version 2.2.0

version 2.2.0

  • Адаптовано до зміни сайту Coursera (2024.01)
  • Виправлено роботу автоматичного перекладу субтитрів.
  • До імені файлу з субтитрами та текстами додано код мови.
  • Мова визначається тільки мовою всього порталу, а не вибраною мовою у меню відео.
  • Для зміни мови субтитрів що змінні від мови порталу, вимкніть у налаштуваннях зберігання субтитрів, а виберіть опцію зберігання додаткових субтитрів та визначить власний список додаткових мов.

CSA - Помічник для збереж. файлів з Coursera (Google Play Store)

CSA - Microsoft Edge Web Store

https://github.com/lexxai/CourseraSaveAssist  

CSA - Menu

CSA

CSA v.2.2.0

12 січня 2024 р.

Нотатка. Django. E-mail. User Certificate. EmailBackend.

Для відправлення листів електронною поштою на певних поштових системах потрібно застосовувати свій персональний сертифікат користувача, у парі з закритим ключем.

Властивості сертифіката для підключення клієнта

Але, пробуючи відправити листа у Django з'ясував що листи не відправляються з помилкою:

SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1000)')

Аналізуючи приклад з прямим надсиланням email через smtplib, з'ясував - що працює відправлення коли контекст створений з використанням purpose  = ssl.Purpose.SERVER_AUTH.

Коли забув ти рідну мову, біднієш духом ти щодня...
When you forgot your native language you would become a poor at spirit every day ...

Д.Білоус / D.Bilous
Рабів до раю не пускають. Будь вільним!

ipv6 ready