Modellen

Llama 3.2 3B

Klein genoeg voor een Mac mini of een bescheiden videokaart. Fijn om de stack te testen.

Llama 3.1 8B

De standaard voor lokaal werk. Q4 past op 8 à 12 GB, Q8 wil eerder 12 à 16 GB.

Mistral 7B v0.3

Architectuur is een schatting op basis van de bekende 7B-vorm. Geen config opgehaald voor deze dataset.

Gemma 2 9B

Gemma 2 wisselt lokale en globale aandacht af. De KV-cache is daarom een benadering, geen gemeten bestand.

Qwen2.5 14B

Sterke middenmoter. Q4 vraagt ongeveer 10 GB plus context. Sliding window staat uit in de config.

Phi-4 14B

Architectuurcijfers zijn een schatting. Geen config opgehaald, dus de VRAM-lijn kan een stukje naast zitten.

Gemma 2 27B

Zelfde voorbehoud als Gemma 2 9B: sliding window maakt de KV-schatting ruwer.

Qwen2.5 32B

Q4 wil ruim 20 GB. Een 16GB-kaart valt dan af, een 24GB-kaart past nipt.

Llama 3.3 70B

Q4 zit rond de 40 GB aan gewichten. Eén 24GB- of 32GB-kaart is niet genoeg.

Qwen2.5 72B

Zelfde klasse als Llama 70B. Zelfde conclusie: je hebt een grote geheugenpoel nodig.

DeepSeek-R1-Distill 70B

Distill op een Llama-70B-vorm. De architectuur is overgenomen van Llama 3.3 70B en daarom als schatting gemarkeerd: er is geen aparte config opgehaald.