Een paar dagen geleden mijn partner Pablinux vertelde hen Hoe je het trendy model voor kunstmatige intelligentie lokaal installeert. In dit bericht zal ik een lijst maken van de modellen die ik beter vind dan DeepSeek. Ook zal ik uitleggen hoe je ze op je computer kunt installeren en uitvoeren.
Als we alle politieke sympathieën of antipathieën buiten beschouwing laten, was de zet van de Chinese overheid een meesterwerk van diplomatieke marketing, Sun Tzu waardig. In tegenstelling tot Donald Trumps 'Elephant in the Chinaware'-stijl, kondigden ze een model aan dat dezelfde functies als ChatGPT gratis biedt en minder bronnen verbruikt. Alleen degenen onder ons die het onderwerp volgen, weten dat Er bestaan al lange tijd veel andere open source-modellen (sommige van Noord-Amerikaanse bedrijven zoals Meta), maar de prestaties van DeepSeek zijn alleen vergelijkbaar met die van ChatGPT in de meest voorkomende 5% van de toepassingen.
Grootschalige taalmodellen
ChatGPT, DeepSeek en andere worden Large Scale Language Models genoemd. In principe Ze zorgen ervoor dat een gebruiker met een computer kan communiceren in een taal die lijkt op de taal die hij gebruikt om met een ander mens te communiceren. Om dit te bereiken, worden ze getraind met grote hoeveelheden tekst en regels waarmee ze nieuwe informatie kunnen produceren uit wat ze al hebben.
Het wordt vooral gebruikt om vragen te beantwoorden, teksten samen te vatten, vertalingen te maken en inhoud te reproduceren.
Betere modellen dan DeepSeek en hoe je ze lokaal kunt installeren
Net als Pablinux gaan we Ollama gebruiken. Dit is een tool waarmee u verschillende open source-modellen kunt installeren, verwijderen en gebruiken via de Linux-terminal. In sommige gevallen kan de browser als grafische interface worden gebruikt, maar dat bespreken we in dit artikel niet.
Om een goede gebruikerservaring te bieden, is het het beste om een speciale GPU te hebben voor OllamaVooral bij modellen met meer parameters. De minder krachtige versies kunnen echter wel op een Raspberry Pi worden gebruikt. Toen ik zelfs modellen met 7 miljard parameters testte op een computer met 6 gigabyte en geen aparte GPU, draaide de computer zonder haperingen. Datzelfde gebeurde niet met één van de 13 miljard.
Parameters zijn de regels die het model gebruikt om relaties op te bouwen en patronen te construeren tussen de gegevens. Hoe meer parameters en gegevens, hoe krachtiger het model zal zijn. Modellen met minder parameters spreken Spaans als Tarzan.
We kunnen Ollama installeren met de opdrachten
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh
We kunnen het model installeren met de opdracht:
ollama pull nombre_del modelo
En voer het uit met:
ollama run nombre_del_modelo
We verwijderen het met behulp van:
ollama rm nombre_del_modelo
We kunnen de geïnstalleerde modellen zien door het volgende te typen:
ollama list
Hieronder vindt u een kleine lijst met de modellen die ik het meest interessant vind: De volledige lijst met beschikbare modellen vindt u hier hier:
llama2-ongecensureerd
Llama is een universeel model gemaakt door Meta. In deze versie zijn alle beperkingen verwijderd die de ontwikkelaars van het oorspronkelijke project om juridische of politieke redenen hadden opgelegd.. Het heeft twee versies, een lichte die het doet met 8 GB en de volledige die 64 GB nodig heeft. Het kan worden gebruikt om vragen te beantwoorden, teksten te schrijven of bij codeertaken.
Installeert met:
ollama pull llama2-uncensored
En het draait met:
ollama run llama2-uncensored
codegemma
CodeGemma is een selectie van lichtgewicht maar krachtige sjablonen waarmee u een verscheidenheid aan programmeertaken kunt uitvoeren hoe je code afmaakt of helemaal opnieuw schrijft. Begrijpt natuurlijke taal, kan instructies volgen en wiskundig redeneren.
Er zijn 3 varianten:
- Instrueren: Het zet natuurlijke taal om in code en kan instructies volgen:
- Code: Maak code compleet en genereer deze op basis van delen van bestaande code.
- 2b: Snellere codevoltooiingstaak.
Tynillama
Zoals de naam al aangeeft, is dit een kleinere versie van het originele Meta-model.. De resultaten zullen dus niet zo goed zijn, maar als je wilt zien hoe een model voor kunstmatige intelligentie werkt op eenvoudige hardware, is het de moeite waard om het te proberen. Het heeft slechts 1100 miljard parameters.
Het lokaal gebruiken van modellen heeft als voordeel dat je privacy hebt en toegang hebt tot ongecensureerde en onpartijdige versies, die er in sommige gevallen belachelijk uitzien. De AI van Microsoft weigerde om een afbeelding van een teckel voor mij te maken, omdat het de term 'bitch' beledigend vond. Het grootste nadeel zijn de hardwarevereisten. Het is een kwestie van de modellen uitproberen en er een vinden die goed genoeg is voor wat u nodig hebt en die kan draaien op de apparatuur die u hebt.