Ollama DeProxy або як отримати локальний доступ до віддаленої Ollama

Ollama DeProxy

Я маю віддалений сервер із GPU, на якому запущена Ollama.

Водночас середовище розробки зазвичай очікує, що Ollama доступна локально - наприклад, за адресою http://localhost:11434 або в межах локальної мережі (http://192.168.0.111:11434).

Класичні рішення

Найпростіший варіант — SSH-тунель:

ssh remote@server -L 11434:localhost:11434

Після цього локальний localhost:11434 проксуватиметься на віддалений сервер.

Якщо ж розробників декілька і вони працюють з різних офісів або через інтернет — можна використати VPN. Це теж робоче рішення, але воно потребує додаткової інфраструктури та адміністрування.

Проблема з авторизацією

У моєму випадку Ollama використовується разом із OpenWebUI, який проксіює доступ до Ollama через власний API з токен-авторизацією.

Однак більшість застосунків, що інтегруються з Ollama, очікують простий доступ до http://localhost:11434 без жодної авторизації. Через це вони не можуть напряму працювати через OpenWebUI.

Рішення — Ollama DeProxy

Щоб спростити інтеграцію, я написав невеликий застосунок - Ollama DeProxy.

FastAPI Dependency Injection: 21 Examples Using Depends() with AI Answers

Why ?

Once I wanted to understand how Depends works in FastAPI more thoroughly to understand what's under the hood. I started communicating with the AI. The answer was a question, and I got hooked. 

I decided to test it in real code and created a training project and wrote this post for it based on my questions to the AI and its answers.
Some answers were wrong, some I had already optimized a bit. But all the results shown are real and created by me personally. 

The result was 21 training examples written in Python, where I checked the answers and suggestions from the AI.

 

Certificate from IT academy GoIT - Python developer

Минув рік дуже інтенсивного навчання в IT академії GoIT - тепер я Python Developer.

Моїм напрямком було вивчення мови програмування #Python з застосуванням у вебзастосунках та у галузі Data Science і машинного навчання (ML).

 Отримав сертифікат Python Developer.

Сертифікат Python Developer.

 

Mодуль "Python Data Science" в IT академії GoIT - проєкт на тему "Автоматизована система паркування".

💡 Закінчили навчання за останнім третім модулем "Python Data Science" в IT академії GoIT - start your career in IT.
🚩 Було створено команду 🇺🇦 розробників - "Neuron Curve Bobr".
🚗 В результаті командної роботи був виконанний груповий проєкт на тему "Автоматизована система паркування".

Дякую 🔥 команді за нашу спільну роботу впродовж напружених 🔨 двох тижнів.

Курсовий проєкт на тему "Автоматизована система паркування".

Згідно з технічним завданням на проєкт: Система автоматично може визначати номери автомобільних знаків на зображеннях з використанням методів машинного навчання.

Функції застосунку:

• Управління обліковими записами користувачів
• Візуалізація про кількість вільних та зайнятих паркомісць.
• Приймання зображень від користувача (симуляція роботи відеокамери)
• Виявлення та виділення області з номерним знаком
• Детекція номерного знаку
• Розпізнавання символів для ідентифікації тексту номерного знаку
• Перевірка номера авто у базі зареєстрованих транспортних засобів
• Запис часу в'їзду/виїзду кожного разу, коли визначається номерний знак
• Відстеження тривалості паркування
• Розрахунок загальної тривалості паркування
• Зберігання даних про тривалість паркування в базі даних;
• Розрахунок вартості паркування. Керування тарифами. Чек за QR-кодом;
• Генерація звітів про розрахунки, які можна експортувати у форматі CSV
• Оплата послуги паркування

Проєкт на тему "Автоматизована система паркування".

Ось і закінчився модуль навчання з #GoIT #Python #WEB 15. Груповий проєкт на #FastAPI.

Ось і закінчився модуль навчання з #GoIT #Python #WEB 15.
Сьогодні, 2023.12.21, був захист курсових проєктів.
Дякую моїй команді котра складалася з 4-х розробників за нашу спільну роботу за останні два тижні.
Ось частина нашого групового проєкту на #FastAPI.

• YouTube: https://youtu.be/WCTrSa8wCJQ
• Deploy link: https://pixels-project-goit-gr5-lexxai.koyeb.app
• GitHub: https://github.com/lexxai/goit_python_web_project_pixels_deploy
• Презентація: Запис самої презентації,  Google Docs
• TikTok: https://vm.tiktok.com/ZM6Bn65k7/

Команда:

1. Team Lead: Sasha Danylenko - https://www.linkedin.com/in/sasha-danylenko-9a7a0b287/
2. Scrum Master: Oleksander Borovyk - https://www.linkedin.com/in/oleksander-borovyk/
3. Developer: Oleksii Hladkov - https://www.linkedin.com/in/oleksii-hladkov/
4. Developer: Lex Xai🐍 - https://www.linkedin.com/in/lexxai/