Descriere:
Felicitări pentru instalarea Ollama! Acum avem propriul server AI funcțional, dar, hai să recunoaștem, utilizarea doar prin linii de comandă nu este tocmai
ce ne-am imaginat. În tutorialul următor, vom rezolva această problemă prin adăugarea unei interfețe WebGUI serverului nostru AI, pentru o utilizare
mai prietenoasă.
Primul pas:
Așa cum ne-am obișnuit, începem cu un update/upgrade al serverului pentru a ne asigura că este complet la zi înainte de a adăuga interfața grafică.
sudo apt update && sudo apt upgrade -y
Pentru a instala GPG key, rulează comanda indicată mai jos în terminal. Acesta este un pas important pentru a asigura autentificarea și securitatea
pachetelor pe care le vei instala ulterior.
sudo apt-get update sudo apt-get install ca-certificates curl sudo install -m 0755 -d /etc/apt/keyrings sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc sudo chmod a+r /etc/apt/keyrings/docker.asc
Rulând comanda de mai jos, vom adăuga repository-ul necesar la APT. Acest pas asigură accesul la pachetele necesare pentru configurarea WebGUI.
echo \ "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \ $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \ sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
Următorul pas este instalarea Docker, care va fi folosit pentru a gestiona containerele necesare serverului nostru AI și pentru a configura interfața
WebGUI. Rulează comanda de mai jos pentru instalare.
sudo apt install docker.io
Rulând comanda de mai jos, vei lansa containerul Docker și vei configura automat rularea acestuia la pornirea sistemului. Acesta este pasul final pentru
a pune în funcțiune containerul și pentru a adăuga funcționalitatea WebGUI.
sudo docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Alternativ, dacă dorești să rulezi containerul cu suport GPU, poți folosi comanda de mai jos. Aceasta va asigura utilizarea resurselor GPU pentru
performanță îmbunătățită, împreună cu configurarea rulării automate a containerului.
Notă:
- Pentru a folosi suportul GPU, este necesară instalarea driverelor corespunzătoare. Acest aspect va fi prezentat în detaliu într-un viitor tutorial
sudo docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
Dacă totul a decurs conform planului, accesând linkul 127.0.0.1:8080 în browser, ar trebui să se deschidă interfața WebGUI a Ollama.
Acum ai la dispoziție o interfață grafică prietenoasă pentru a interacționa cu serverul AI configurat.
Tutorial prezentat de: Remus @ Tutoriale IT & Tech