localLLMriglokaal, op je tafel

model

Llama 3.3 70B

Q4 zit rond de 40 GB aan gewichten. Eén 24GB- of 32GB-kaart is niet genoeg.

Llama 3.3 70B vraagt naar schatting 43,0 GB in Q4 bij 8.192 tokens. Geen gemeten bron.

QuantisatieGeschat geheugen
Q443,0 GBschatting
Q552,2 GBschatting
Q879,0 GBschatting
FP16144,7 GBschatting

Bij 8.192 tokens context. Geen gemeten bron.

Open in de rekenmachine

Drie opstellingen

Llama 3.3 70B · Q4 · 8.192 ctx

Geschat geheugen

43,0 GBschatting

39,5 GB gewichten · 2,7 GB KV-cache · 0,8 GB overhead

  1. 01 · Snelste

    Dual RTX 4090, 48 GB

    Zelfde geheugen als twee 3090s, hogere bandbreedte, een stuk duurder.

    $6,146€ 5.490

    schatting

    tok/s

    20,0

    schatting

    nodig

    43,0 GB

    past volledig

    bruikbaar

    45,6 GB

    VRAM

    Waarom deze

    • Het model past volledig in het videogeheugen of het unified memory. Geen CPU-offload.
    • Het past, maar met weinig speling. Een langere context kan nét te veel zijn.
    • Twee GPU's. Reken op een zwaardere voeding en een llama.cpp-split. De bandbreedte telt niet volledig dubbel.
    • Hoge geheugenbandbreedte, dus een hogere schatting van tokens per seconde.
    • Hoogste geschatte snelheid in deze selectie.

    Onderdelen

    • 2× GeForce RTX 4090 24GB
    • Ryzen 9 7950X of gelijkaardig
    • 128 GB DDR5
    • voeding 1600W

  2. 02 · Beste verhouding

    Dual RTX 3090, 48 GB

    De klassieke 70B-Q4-opstelling. Twee kaarten, meer gedoe, wel genoeg geheugen.

    $2,217€ 1.980

    tweedehands

    schatting

    tok/s

    18,6

    schatting

    nodig

    43,0 GB

    past volledig

    bruikbaar

    45,6 GB

    VRAM

    Waarom deze

    • Het model past volledig in het videogeheugen of het unified memory. Geen CPU-offload.
    • Het past, maar met weinig speling. Een langere context kan nét te veel zijn.
    • Twee GPU's. Reken op een zwaardere voeding en een llama.cpp-split. De bandbreedte telt niet volledig dubbel.
    • Hoge geheugenbandbreedte, dus een hogere schatting van tokens per seconde.
    • Tweedehands of een vorige generatie. De prijs beweegt sterk.
    • Meeste geschatte tokens per euro in deze selectie.

    Onderdelen

    • 2× GeForce RTX 3090 24GB, tweedehands
    • Ryzen 9 5900X of gelijkaardig
    • 128 GB DDR4
    • voeding 1200W, behuizing met lucht

  3. 03 · Ander platform

    Mac Studio M5 Ultra 96GB

    Hoge bandbreedte en genoeg geheugen voor 70B Q4/Q5. FP16 70B past niet.

    $7,266€ 6.490

    schatting

    tok/s

    13,2

    schatting

    nodig

    43,0 GB

    past volledig

    bruikbaar

    84,0 GB

    unified

    Waarom deze

    • Het model past volledig in het videogeheugen of het unified memory. Geen CPU-offload.
    • Er blijft geheugen over voor een langere context of een zwaardere quantisatie.
    • Unified memory: gewichten en KV-cache delen één geheugenpoel.
    • Hoge geheugenbandbreedte, dus een hogere schatting van tokens per seconde.
    • Eén doos, weinig lawaai, geen losse videokaart.
    • Een ander merk, zodat je niet drie keer dezelfde pc ziet.

    Onderdelen

    • Mac Studio M5 Ultra, 96 GB, 1,2 TB/s

Met CPU-offload, en dus trager, zou dit ook kunnen: Pc met RTX 5090 32GB, ~3,2 tok/s, $5,027€ 4.490.

Tokens per seconde zijn een schatting uit geheugenbandbreedte, geen gemeten benchmark. Wereldwijde prijzen (USD), EUR beschikbaar. EUR is incl. btw. USD is een wisselkoersschatting. Geen winkelbron. Meet zelf na met llama-bench voor je koopt.

Een build op jouw maat? Rapport

Nieuwe builds als GPU-prijzen bewegen

Einde van de resultaten

Veelgestelde vragen

Hoeveel geheugen vraagt Llama 3.3 70B in Q4?
Ongeveer 43,0 GB bij 8.192 tokens: 39,5 GB gewichten, 2,7 GB KV-cache, 0,8 GB overhead. Dat is een schatting. sourceUrl blijft null.
Past Llama 3.3 70B op één GPU van 24 GB?
Niet volledig. De schatting is 43,0 GB, en een 24GB-kaart houdt daarvan 22,8 GB bruikbaar. sourceUrl blijft null.
Zijn de tokens per seconde gemeten?
Nee. De snelheid volgt uit bandbreedte en een aangenomen benutting. benchmarkSourceUrl blijft null.
Llama 3.3 70B lokaal draaien · localLLMrig