Methodologie

localLLMrig beantwoordt één vraag: past dit model op deze machine, en hoe vlot ongeveer? Het antwoord is een schatting. Waar we een pagina hebben geopend, staat de URL bij het cijfer. Waar niet, blijft het bronveld leeg.

Gewichten

Grootte van de gewichten ≈ parameters × bytes per parameter. We gebruiken 0.56 (Q4), 0.69 (Q5), 1.07 (Q8) en 2 (FP16). Dat ligt in de buurt van GGUF Q4_K_M, Q5_K_M, Q8_0 en FP16, inclusief een beetje container-overhead. Het is geen gemeten bestandsgrootte.

Het parameteraantal zelf staat niet in de Hugging Face-config. Dat veld is daarom altijd een schatting, ook als de lagen en KV-heads uit een config komen.

KV-cache en context

KV-cache in FP16: 2 × lagen × kv-heads × head_dim × 2 bytes × tokens. Bij Gemma 2 rekenen we de helft van de lagen op een sliding window, en dat is een benadering. Daarbovenop 0.8 GB runtime-overhead.

Wat telt als 'past'

Op een discrete GPU trekken we 1.2 GB per kaart af. Op een Mac houden we ruimte voor het systeem: 6 GB bij 16 GB, 8 GB bij 32 GB, 10 GB bij 64 GB, 12 GB daarboven. Past het totaal daarin, dan is het een volledige fit.

Past het niet in de GPU maar wel in GPU plus systeem-RAM (min 8 GB voor het OS), dan is het CPU-offload. Die optie komt niet in de top 3 zolang er een volledige fit bestaat. Ze staat er wel als voetnoot, want ze is traag.

Tokens per seconde

We gaan ervan uit dat decoderen geheugenbandbreedte-gebonden is: tokens/s ≈ 1 / (gigabytes / effectieve bandbreedte + 0.0025 s). Effectieve bandbreedte is de spec-sheet maal een benutting: NVIDIA 0.55, Apple 0.48, AMD 0.4. Bij twee GPU's vermenigvuldigen we nog met 0.8, omdat een layer-split de bandbreedte niet optelt.

Die benutting is een aanname, geen meting. Kleine modellen op een heel snelle kaart zijn vaak rekengebonden, dus de schatting kan daar te optimistisch zijn. Er staat geen benchmarkbron bij, omdat we er geen hebben.

Prijzen

Wereldwijde prijzen (USD), EUR beschikbaar, gedateerd 2026-10-14. De catalogus staat in EUR incl. btw. De dollar is dat bedrag maal FX_EUR_USD, een schatting. Het bronveld is leeg. We hebben geen bol.com-, Coolblue- of Apple-pagina als prijsbron opgeslagen. Tweedehands beweegt het hardst.

Hoe de top 3 gekozen wordt

Eerst alles wat volledig past. Binnen het budget: de snelste, de beste tokens-per-euro, en een ander platform als dat er is. Ontbreken er plekken, dan vullen we aan met een snellere machine boven het budget. Past er niets binnen het budget, dan tonen we de dichtstbijzijnde volledige fits en zeggen we dat ze erboven zitten.

Machine-leesbaar

Agents kunnen /llms.txt en /llms-full.txt lezen, plus JSON op /api/models, /api/hardware en /api/recommend. Die payloads zeggen expliciet dat geheugen en tokens/s een schatting zijn, en dat prijs- en benchmarkbronnen leeg blijven.

Langere gidsen (Engels) staan op /guides.

Wat er niet in zit

Geen stroomkosten, geen geluid in decibel, geen 'deze winkel heeft hem op voorraad'. Geen Q3 of Q6. Geen multi-user batching. De Mac-lijn volgt de pagina's die we in oktober 2026 openden (M5/M6) plus M4-varianten uit de Studio van 2025, omdat die tweedehands nog de vraag zijn.