This repository contains documentation, Wiki, master project management, and website for the Software for Open Networking in the Cloud (SONiC).
Documentation covers project wide concerns such as the getting started guide, faq, general requirements for contribution, developer's guide, governance, architecture, and so on. It also contains links to download and install SONiC and links to all the source. See SONiC Wiki for complete information.
Кроки для для здобуття необхідних навичок для спеціальностей з напрямку AI & Data на платформі Google Cloud Skills Boost завдяки можливості надданій Google Ukraine.
Complete the Set Up an App Dev Environmen on Google Cloud skill badge to demonstrate skills in the following: how to build and connect storage-centric cloud infrastructure using the basic capabilities of the of the following technologies: Cloud Storage, Identity and Access Management, Cloud Functions, and Pub/Sub.
 |
| Set Up an App Dev Environment on Google Cloud Skill Badge, 04.04.2024 |
Кроки для для здобуття необхідних навичок для спеціальностей з напрямку AI & Data на платформі Google Cloud Skills Boost завдяки можливості надданій Google Ukraine.
Complete the Implement Load Balancing on Compute Engine skill badge to demonstrate skills in the following: write gcloud commands and use Cloud Shell, create and deploy virtual machines in Compute Engine, run containerized applications on Google Kubernetes Engine, and configure network and HTTP load balancers.
 |
| Implement Load Balancing on Compute Engine Skill Badge, 04.04.2024 |
Кроки для для здобуття необхідних навичок для спеціальностей з напрямку AI & Data на платформі Google Cloud Skills Boost завдяки можливості надданій Google Ukraine.
 |
| Recommendation Systems on Google Cloud, Apr 3, 2024 |
In this course, you apply your knowledge of classification models and
embeddings to build a ML pipeline that functions as a recommendation
engine.
This is the fifth and final course of the Advanced Machine Learning on
Google Cloud series.
Кроки для для здобуття необхідних навичок для спеціальностей з напрямку AI & Data на платформі Google Cloud Skills Boost завдяки можливості надданій Google Ukraine.
 |
| Natural Language Processing on Google Cloud, Mar 26, 2024 |
Кроки для для здобуття необхідних навичок для спеціальностей з напрямку AI & Data на платформі Google Cloud Skills Boost завдяки можливості надданій Google Ukraine.
 |
| Computer Vision Fundamentals on Google Cloud, Mar 25, 2024 |
This course describes different types of computer vision use cases and then highlights different machine learning strategies for solving these use cases. The strategies vary from experimenting with pre-built ML models through pre-built ML APIs and AutoML Vision to building custom image classifiers using linear models, deep neural network (DNN) models or convolutional neural network (CNN) models.
The course shows how to improve a model's accuracy with augmentation, feature extraction, and fine-tuning hyperparameters while trying to avoid overfitting the data.
The course also looks at practical issues that arise, for example, when one doesn't have enough data and how to incorporate the latest research findings into different models.
Learners will get hands-on practice building and optimizing their own image classification models on a variety of public datasets in the labs they will work on.
Кроки для для здобуття необхідних навичок для спеціальностей з напрямку AI & Data на платформі Google Cloud Skills Boost завдяки можливості надданій Google Ukraine.
 |
| Production Machine Learning Systems, Mar 23, 2024 |
This course covers how to implement the various flavors of production ML systems— static, dynamic, and continuous training; static and dynamic inference; and batch and online processing. You delve into TensorFlow abstraction levels, the various options for doing distributed training, and how to write distributed training models with custom estimators.
This is the second course of the Advanced Machine Learning on Google Cloud series. After completing this course, enroll in the Image Understanding with TensorFlow on Google Cloud course.
Кроки для для здобуття необхідних навичок для спеціальностей з напрямку AI & Data на платформі Google Cloud Skills Boost завдяки можливості надданій Google Ukraine.
 |
| Machine Learning in the Enterprise - Mar 20, 2024 |
The team is presented with three options to build machine learning models for two specic use cases. This course explains why the team would use AutoML, BigQuery ML, or custom training to achieve their objectives. A deeper dive into custom training is presented in this course. We describe custom training requirements from training code structure, storage, and loading large datasets to expoing a trained model.
You will build a custom training machine learning model, which allows you to build a container image with lile knowledge of Docker.
The case study team examines hyperparameter tuning using Veex Vizier and how it can be used to improve model peormance. To understand more about model improvement, we dive into a bit of theory: we discuss regularization, dealing with sparsity, and many other essential concepts and principles. We end with an overview of prediction and model monitoring and how Veex AI can be used to manage ML models
● Module 1: Understanding the ML Enterprise Workow
● Module 2: Data in the Enterprise
● Module 3: Science of Machine Learning and Custom Training
● Module 4: Veex Vizier Hyperparameter Tuning
● Module 5: Prediction and Model Monitoring Using Veex AI
● Module 6: Veex AI Pipelines
● Module 7: Best Practices for ML Developmen
Кроки для для здобуття необхідних навичок для спеціальностей з напрямку AI & Data на платформі Google Cloud Skills Boost завдяки можливості надданій Google Ukraine.
 |
| Feature Engineering - Mar 9, 2024 |
Want to know about Veex AI Feature Store? Want to know how you can improve the
accuracy of your ML models? What about how to nd which data columns make the most
useful features? Welcome to Feature Engineering, where we discuss good versus bad
features and how you can preprocess and transform them for optimal use in your models.
This course includes content and labs on feature engineering using BigQuery ML, Keras, and
TensorFlow.
Ось чому не можна використати FC з активатором "ReLU" для цієї задачі:
layers.Dense(3, activation="relu", name="gray_rgb", input_shape=(32,32,1))
|
| FC, relu |
tx = np.repeat(x, 3, axis=-1)або
tx = np.tile(x, (1, 1, 3))Або шар Lambda (але я питання по збереження моделі до файлу):
layers.Lambda(lambda x: tf.repeat(x, 3, axis=-1))
|
| Grey to RGB |
rows = 4
plt.figure(figsize=(10,3*rows))
cols = rgb_images_train.shape[-1]
total = cols * rows
labels = ["R","G","B"]
for i in range(total):
plt.subplot(rows,cols,i+1)
plt.xticks([])
plt.yticks([])
plt.grid(False)
id = i % cols
rid = i // cols
plt.imshow(rgb_images_train[0+rid,:,:,id], cmap=plt.cm.binary)
plt.ylabel(f"Image {rid}, label: {np.argmax(y_train[rid])}")
plt.xlabel(f"chanel {id} : '{labels[id]}'")
plt.show()
Або вже шар Conv2D:
layers.Conv2D(3, (1, 1), use_bias=False, padding="same", kernel_initializer="ones", name="conv2d_108", input_shape=(32,32,1))
|
|
Conv2D 1х1 |
activation_model = Model(inputs=model.input,
outputs=[layer.output for layer in model.layers])
activations = activation_model.predict(x_test[0].reshape(1, 32, 32, 1))
for layer_index, layer_activation in enumerate(activations):
print(f"{layer_index=}, {layer_activation.shape=}")
if len(layer_activation.shape) == 4:
num_features = layer_activation.shape[-1]
size = layer_activation.shape[1]
rows = num_features // 1
cols = layer_activation.shape[-1]
plt.figure(figsize=(16, 12))
for i in range(num_features):
plt.subplot(rows, cols, i + 1)
img = layer_activation[0, :, :, i]
plt.imshow(img, cmap='viridis')
plt.axis('off')
print("min:", np.min(img), "max",np.max(img))
plt.tight_layout()
plt.subplots_adjust(top=0.94)
plt.suptitle(f'Layer {activation_model.layers[layer_index+1].name} Feature Maps')
plt.show()
Кроки для для здобуття необхідних навичок для спеціальностей з напрямку AI & Data на платформі Google Cloud Skills Boost завдяки можливості надданій Google Ukraine.
 |
| TensorFlow on Google Cloud. Mar 5, 2024 |
This course covers designing and building a TensorFlow input data pipeline, building ML models with TensorFlow and Keras, improving the accuracy of ML models, writing ML models for scaled use, and writing specialized ML models.
#MachineLearning
#MachineLearningModels
#MachineLearningPipeline
Ознайомлюючись з лекцію про "Згорткові нейронні мережі" (Conv) в темі "Python Data Sciense" школи GoIT. Думаю що ж таке знайоме.
 |
| convolutional neural network |
Знаходжу код далекого 2014 року, де у браузері,
в той час Chrome NaCL мав можливість виконувати порогами клієнта на С,
компілювавши на стороні клієнта файл (.pexe), писали код котрий покращував
зображення відео на "льоту" через OpenGL Shaders.
(Capture кадр відео, і
поверх відео малював OpenGL зображення, а оригінальне відео не було
видно.)
Так от там і були операції як раз такі самі як у Conv kernel 3х3
, і середнє потім забиралося. 😀
const char kFragShaderSource[] = "precision mediump float;\n"
"uniform sampler2D u_texture;\n"
"uniform float imgWidth;\n"
"uniform float imgHeight;\n"
"varying vec2 v_texcoord;\n"
"float kernel[9];\n"
"vec2 offset[9];\n"
"float step_w = 1.0/imgWidth;\n"
"float step_h = 1.0/imgHeight;\n"
"void main() {\n"
"offset[0] = vec2(-step_w, -step_h);\n"
"offset[1] = vec2(0.0, -step_h);\n"
"offset[2] = vec2(step_w, -step_h);\n"
"offset[3] = vec2(-step_w, 0.0);\n"
"offset[4] = vec2(0.0, 0.0);\n"
"offset[5] = vec2(step_w, 0.0);\n"
"offset[6] = vec2(-step_w, step_h);\n"
"offset[7] = vec2(0.0, step_h);\n"
"offset[8] = vec2(step_w, step_h);\n"
"kernel[0] = 0.;\n"
"kernel[1] = -.4;\n"
"kernel[2] = 0.;\n"
"kernel[3] = -.4;\n"
"kernel[4] = 2.6;\n"
"kernel[5] = -.4;\n"
"kernel[6] = 0.;\n"
"kernel[7] = -.4;\n"
"kernel[8] = 0.;\n"
"vec4 sum = vec4(0.0);\n"
"int i;\n"
"for (i = 0; i < 9; i++) {\n"
"vec4 color = texture2D(u_texture, (vec2(1.0,1.0)-v_texcoord) + offset[i]);\n"
"sum += color * kernel[i];\n"
"}\n"
"gl_FragColor = sum;\n"
"}\n";
kernel:
0.0 -0.4 0.0 -0.4 2.6 -0.4 0.0 -0.4 0.0Так як паддінгу не було, на жаль в коді.
"offset[0] = vec2(-step_w, -step_h);\n"
Кроки для для здобуття необхідних навичок для спеціальностей з напрямку AI & Data на платформі Google Cloud Skills Boost завдяки можливості надданій Google Ukraine.
 |
| Launching into Machine Learning. Feb 26, 2024 |
● Describe how to improve data quality
● Peorm exploratory data analysis
● Build and train AutoML Models using Veex AI
● Build and train AutoML Models using BigQuery ML
● Optimize and evaluate models using loss functions and peormance metrics
● Create repeatable and scalable training, evaluation, and test datasets
The course begins with a discussion about data: how to improve data quality and peorm
exploratory data analysis. We describe Veex AI AutoML and how to build, train, and deploy
an ML model without writing a single line of code. You will understand the benets of Big
Query ML. We then discuss how to optimize a machine learning model and how
generalization and sampling can help assess the quality of ML models for custom training
#MachineLearning
#MachineLearningModels
#MachineLearningPipeline
Кроки для для здобуття необхідних навичок для спеціальностей з напрямку AI & Data на платформі Google Cloud Skills Boost завдяки можливості надданій Google Ukraine.
Курс: Introduction to AI and Machine Learning on Google Cloud
This course introduces the artificial intelligence (AI) and machine learning (ML) offerings on Google Cloud that support the data-to-AI lifecycle through AI foundations, AI development, and AI solutions. It explores the technologies, products, and tools available to build an ML model, an ML pipeline, and a generative AI project based on the different goals of users, including data scientists, AI developers, and ML engineers.
#MachineLearning
#MachineLearningModels
#MachineLearningPipeline
 |
| Introduction to AI and Machine Learning on Google Cloud | Google Cloud Skills Boost |
CSA - Помічник для збереж. файлів з Coursera (Google Play Store)
CSA - Microsoft Edge Web Store
https://github.com/lexxai/CourseraSaveAssist
 |
| CSA - Menu |
 |
| CSA |
 |
| CSA v.2.2.0 |
Для відправлення листів електронною поштою на певних поштових системах потрібно застосовувати свій персональний сертифікат користувача, у парі з закритим ключем.
 |
| Властивості сертифіката для підключення клієнта |
Але, пробуючи відправити листа у Django з'ясував що листи не відправляються з помилкою:
SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1000)')
Аналізуючи приклад з прямим надсиланням email через smtplib, з'ясував - що працює відправлення коли контекст створений з використанням purpose = ssl.Purpose.SERVER_AUTH.
