És habitual trucar a la memòria cau a la memòria incorporada al processador, que es caracteritza per ser d’alta velocitat i s’utilitza per emmagatzemar temporalment les dades més freqüents.
La necessitat d’utilitzar memòria cau s’explica per la diferència en la velocitat d’intercanvi d’informació entre el processador i diverses seccions de la memòria de l’ordinador. El treball de qualsevol aplicació comença transferint les dades necessàries d'un disc dur relativament lent a la memòria RAM (memòria d'accés aleatori de l'ordinador) a una secció d'accés aleatori dinàmic. Des d'allà, es poden transferir a la memòria cau L2 (memòria L2) situada al xip del processador o en un xip SRAM separat d'alta velocitat dedicat situat al costat del processador. Finalment, la informació més utilitzada es pot transferir a la memòria cau L1 (memòria de primer nivell), que és una secció dedicada del processador. La mida de la memòria cau de primer nivell és d’uns 128 KB, el segon nivell ja és de 512 KB. A tall de comparació, la mida de la memòria RAM pot ser d’1 GB. L’execució de qualsevol ordre es realitza segons un esquema determinat: - anàlisi dels registres de dades d’informació; - escaneig de les dades de la memòria cau de primer nivell; - comprovació de la informació de la memòria cau del segon nivell; - Anàlisi de les dades de la memòria principal; - Accés a la memòria del disc dur. El temps que passa el processador per obtenir les dades necessàries és en proporció directa amb el lloc on s’emmagatzema la informació. Per tant, l'accés a la memòria cau del primer nivell requereix d'1 a 3 cicles, el segon nivell (de sis a dotze cicles) i a la memòria principal: desenes i, en alguns casos, centenars de cicles. La memòria cau té un paper especial en el procés de funcionament del servidor, ja que el trànsit del processador a la memòria pot ser important en aquests casos. L’estructura de la memòria cau també serveix per reduir la bretxa entre les velocitats del processador, que augmenten un 50% anual, i les velocitats de dades RAM, que només creixen un 5%. El desenvolupament continu del tercer i quart nivell de memòria cau sembla ser passos lògics en aquesta direcció. Una altra possible direcció de desenvolupament pot ser la transició a la gestió programàtica de la memòria cau.
