Niveauerne af cachehukommelse er typisk nummereret fra 0 til 3, hvor niveau 0 er tættest på processoren og niveau 3 er længst.

- Niveau 1 cache (L1 cache): L1 cache er den mindste og hurtigste cachehukommelse. Den er placeret på samme chip som processoren og har den laveste latency. L1-cache er typisk opdelt i to dele:instruktionscache og datacache. Instruktionscache gemmer ofte brugte instruktioner, mens datacache gemmer ofte brugte data.

- Niveau 2 cache (L2 cache): L2-cache er større end L1-cache, men langsommere. Den er også placeret på samme chip som processoren, men den er ikke så tæt integreret som L1 cache. L2 cache gemmer både instruktioner og data.

- Niveau 3 cache (L3 cache): L3 cache er den største og langsomste cachehukommelse. Den er placeret på en separat chip fra processoren og har den højeste latenstid. L3 cache gemmer både instruktioner og data, og den kan deles mellem flere processorer.

Nogle systemer kan også have en niveau 4 cache (L4 cache), som er endnu større og langsommere end L3 cache. L4-cache bruges typisk i højtydende servere og arbejdsstationer.