 |
| Ollama DeProxy |
Я маю віддалений сервер із GPU, на якому запущена Ollama.
Водночас середовище розробки зазвичай очікує, що Ollama доступна локально -
наприклад, за адресою http://localhost:11434 або в межах локальної мережі
(http://192.168.0.111:11434).
Класичні рішення
Найпростіший варіант — SSH-тунель:ssh remote@server -L 11434:localhost:11434
Після цього локальний localhost:11434 проксуватиметься на віддалений сервер.
Якщо ж розробників декілька і вони працюють з різних офісів або через інтернет
— можна використати VPN. Це теж робоче рішення, але воно потребує додаткової
інфраструктури та адміністрування.
Проблема з авторизацією
У моєму випадку Ollama використовується разом із OpenWebUI, який проксіює доступ до Ollama через власний API з токен-авторизацією.
Однак більшість застосунків, що інтегруються з Ollama, очікують простий доступ до http://localhost:11434 без жодної авторизації. Через це вони не можуть напряму працювати через OpenWebUI.
Рішення — Ollama DeProxy
Щоб спростити інтеграцію, я написав невеликий застосунок - Ollama DeProxy.
