localLLMriglokaal, op je tafel

model

Mistral 7B v0.3

Architectuur is een schatting op basis van de bekende 7B-vorm. Geen config opgehaald voor deze dataset.

Mistral 7B v0.3 vraagt naar schatting 5,9 GB in Q4 bij 8.192 tokens. Geen gemeten bron.

QuantisatieGeschat geheugen
Q45,9 GBschatting
Q56,9 GBschatting
Q89,6 GBschatting
FP1616,4 GBschatting

Bij 8.192 tokens context. Geen gemeten bron.

Open in de rekenmachine

Drie opstellingen

Mistral 7B v0.3 · Q4 · 8.192 ctx

Geschat geheugen

5,9 GBschatting

4,1 GB gewichten · 1,1 GB KV-cache · 0,8 GB overhead

  1. 01 · Snelste

    Pc met RTX 5090 32GB

    Hoogste bandbreedte in één kaart. 32 GB is ruim voor 32B, nog te krap voor 70B Q4.

    $5,027€ 4.490

    schatting

    tok/s

    130

    schatting

    nodig

    5,9 GB

    past volledig

    bruikbaar

    30,8 GB

    VRAM

    Waarom deze

    • Het model past volledig in het videogeheugen of het unified memory. Geen CPU-offload.
    • Er blijft geheugen over voor een langere context of een zwaardere quantisatie.
    • Hoge geheugenbandbreedte, dus een hogere schatting van tokens per seconde.
    • Hoogste geschatte snelheid in deze selectie.

    Onderdelen

    • GeForce RTX 5090 32GB
    • Ryzen 7 9700X of gelijkaardig
    • 96 GB DDR5
    • voeding 1200W, ruime behuizing

  2. 02 · Beste verhouding

    Tweedehands pc met RTX 3090 24GB

    Beste enkele kaart voor 32B Q4. 70B Q4 past niet volledig.

    $1,433€ 1.280

    tweedehands

    schatting

    tok/s

    80

    schatting

    nodig

    5,9 GB

    past volledig

    bruikbaar

    22,8 GB

    VRAM

    Waarom deze

    • Het model past volledig in het videogeheugen of het unified memory. Geen CPU-offload.
    • Er blijft geheugen over voor een langere context of een zwaardere quantisatie.
    • Hoge geheugenbandbreedte, dus een hogere schatting van tokens per seconde.
    • Tweedehands of een vorige generatie. De prijs beweegt sterk.
    • Meeste geschatte tokens per euro in deze selectie.

    Onderdelen

    • GeForce RTX 3090 24GB, tweedehands
    • Ryzen 7 5700X of gelijkaardig
    • 64 GB DDR4
    • voeding 850W, goede airflow

  3. 03 · Ander platform

    Mac Studio M5 Ultra 96GB

    Hoge bandbreedte en genoeg geheugen voor 70B Q4/Q5. FP16 70B past niet.

    $7,266€ 6.490

    schatting

    tok/s

    88

    schatting

    nodig

    5,9 GB

    past volledig

    bruikbaar

    84,0 GB

    unified

    Waarom deze

    • Het model past volledig in het videogeheugen of het unified memory. Geen CPU-offload.
    • Er blijft geheugen over voor een langere context of een zwaardere quantisatie.
    • Unified memory: gewichten en KV-cache delen één geheugenpoel.
    • Hoge geheugenbandbreedte, dus een hogere schatting van tokens per seconde.
    • Eén doos, weinig lawaai, geen losse videokaart.
    • Een ander merk, zodat je niet drie keer dezelfde pc ziet.

    Onderdelen

    • Mac Studio M5 Ultra, 96 GB, 1,2 TB/s

Tokens per seconde zijn een schatting uit geheugenbandbreedte, geen gemeten benchmark. Wereldwijde prijzen (USD), EUR beschikbaar. EUR is incl. btw. USD is een wisselkoersschatting. Geen winkelbron. Meet zelf na met llama-bench voor je koopt.

Een build op jouw maat? Rapport

Nieuwe builds als GPU-prijzen bewegen

Einde van de resultaten

Veelgestelde vragen

Hoeveel geheugen vraagt Mistral 7B v0.3 in Q4?
Ongeveer 5,9 GB bij 8.192 tokens: 4,1 GB gewichten, 1,1 GB KV-cache, 0,8 GB overhead. Dat is een schatting. sourceUrl blijft null.
Past Mistral 7B v0.3 op één GPU van 24 GB?
De schatting van 5,9 GB zit onder de 22,8 GB die we op een 24GB-kaart bruikbaar rekenen. Het blijft een schatting, geen gemeten bestand.
Zijn de tokens per seconde gemeten?
Nee. De snelheid volgt uit bandbreedte en een aangenomen benutting. benchmarkSourceUrl blijft null.
Mistral 7B v0.3 lokaal draaien · localLLMrig