 |
| Ollama DeProxy |
Я маю віддалений сервер із GPU, на якому запущена Ollama.
Водночас середовище розробки зазвичай очікує, що Ollama доступна локально -
наприклад, за адресою http://localhost:11434 або в межах локальної мережі
(http://192.168.0.111:11434).
Класичні рішення
Найпростіший варіант — SSH-тунель:ssh remote@server -L 11434:localhost:11434
Після цього локальний localhost:11434 проксуватиметься на віддалений сервер.
Якщо ж розробників декілька і вони працюють з різних офісів або через інтернет
— можна використати VPN. Це теж робоче рішення, але воно потребує додаткової
інфраструктури та адміністрування.
Проблема з авторизацією
У моєму випадку Ollama використовується разом із OpenWebUI, який проксіює доступ до Ollama через власний API з токен-авторизацією.
Однак більшість застосунків, що інтегруються з Ollama, очікують простий доступ до http://localhost:11434 без жодної авторизації. Через це вони не можуть напряму працювати через OpenWebUI.
Рішення — Ollama DeProxy
Щоб спростити інтеграцію, я написав невеликий застосунок - Ollama DeProxy.
Його ідея проста:
- локально він виглядає як звичайна Ollama (localhost:11434);
- всередині - проксіює запити на віддалений сервер;
- за потреби додає авторизацію;
- дозволяє централізовано керувати доступом.
Таким чином:
- розробникам не потрібно налаштовувати SSH-тунелі;
- не обов’язково піднімати VPN;
- клієнтські застосунки продовжують працювати так, ніби Ollama запущена локально.
У результаті віддалений GPU-сервер використовується прозоро, без змін у клієнтському коді.
Репозиторій:
Ollama DeProxy - https://github.com/lexxai/ollama-deproxy
Приклади використання:
 |
| Docker container Ollama DeProxy |
 |
| VS Code with Ollama and Plugin Continue |
Немає коментарів:
Дописати коментар