LLM-ul Ollama. Sau cum să-ți faci propriul server de IA - Tutoriale IT & Tech

Tutoriale IT & Tech

Tutoriale

IT & Tech

Du-te la conținut
Invertorul EaSun SMW 8KW 48v 2xMPPT - Tutoriale IT & Tech
Setare Cookie
Pagina cu Butoane
Descriere:

Când vine vorba de AI, primul gând e de multe ori ChatGPT. Totuși, în ultima vreme, serviciile de AI au apărut peste tot, unele foarte bune, altele mai
puțin reușite. În acest tutorial vreau să discutăm despre LLM-ul Ollama.

Ce este Ollama?
  • LLM înseamnă Large Language Model, iar Ollama are la bază Llama, un model dezvoltat de Meta.
  • Disponibil gratuit, dar cu o condiție: trebuie să-l găzduiești singur.
  • Necesită resurse mari pentru a funcționa, dar scopul acestui tutorial este să te ajute să-l configurezi, nu să punem accent pe viteză.

De ce WSL?
  • Deși tutorialul este 99% Linux, am ales să-l postez la categoria Windows pentru că voi folosi WSL. Motivul? Mașinile virtuale disponibile se mișcă
mult prea încet. Cu WSL, principiul de instalare și utilizare rămâne același ca pe un sistem Linux nativ.

Ce presupunem?
  • Presupunem că serverul este deja configurat.
  • Ne concentrăm pe instalarea Ollama.

Primul pas:
  • Începem cu un update/upgrade al sistemului pentru a ne asigura că totul este la zi. Acesta este un pas esențial înainte de orice instalare.
Copiază Comanda
sudo apt update && sudo apt upgrade -y
Următorul pas este să instalăm cURL, în cazul în care nu este deja instalat. Acesta este un instrument esențial pentru descărcarea și gestionarea
fișierelor direct din terminal. Asigură-te că îl ai instalat înainte de a continua configurarea.
Copiază Comanda
sudo apt install curl -y
Ajunși în acest punct, următorul pas este să instalăm Ollama. Tot ce trebuie să faci este să copiezi și să rulezi comanda specifică în terminal pentru
a finaliza instalarea.
Copiază Comanda
curl -fsSL https://ollama.com/install.sh | sh
Ollama este acum instalat! Pentru a verifica dacă totul este în regulă, poți deschide un browser și accesa link-ul 127.0.0.1:11434. Dacă totul
funcționează corect, vei vedea mesajul: Ollama is running.

Ce urmează?
  • Deși Ollama este instalat, momentan nu are niciun LLM configurat. Pentru a putea utiliza Ollama, trebuie să instalezi mai întâi un LLM.

Unde găsești LLM-uri?
  • Pe site-ul oficial Ollama, vei găsi o listă vastă de LLM-uri disponibile pentru instalare.

Instalare LLM:
Pentru a instala un LLM, folosești comanda:
  • ollama run pentru a descărca și rula direct.
  • ollama pull dacă vrei doar să descarci modelul.

Exemple de LLM-uri instalabile:
  • Mai jos sunt trei exemple, dar pe site-ul oficial Ollama vei găsi multe altele pe care le poți încerca.
Copiază Comanda
ollama run mistral
ollama run llama3
ollama run gemma
Pentru a închide o sesiune deschisă în Ollama, tot ce trebuie să faci este să tastezi /bye.
Acesta este ultimul pas din proces, iar acum ai toate informațiile necesare pentru a începe să folosești Ollama și LLM-urile instalate.

Tutorial prezentat de: Remus @ Tutoriale IT & Tech

Canale și Platforme Sociale
Înapoi la cuprins