L'examen de tissu cérébral fraîchement coupé révèle deux couleurs distinctes. La substance grise est principalement constituée de corps cellulaires neuronaux, de dendrites, d'axones amyéliniques et des synapses qui les relient. Elle forme la couche corticale externe et se rencontre également dans les noyaux profonds et le noyau central de la moelle épinière.

Du fait de la forte concentration de synapses dans cette zone, la substance grise est le principal siège des calculs neuronaux. La substance grise corticale est organisée en couches qui diffèrent par leurs types cellulaires et leurs connexions. Son épaisseur et son intégrité évoluent tout au long de la vie et sont altérées dans de nombreuses affections neurologiques et psychiatriques ; l’imagerie moderne permet de quantifier ces changements chez les personnes vivantes.

En revanche, la substance blanche contient les axones myélinisés à longue portée qui relient des régions distantes de la substance grise. Ces deux compartiments sont essentiels, mais c'est dans la substance grise que se produisent la plupart des traitements locaux et de la plasticité neuronale. Les colorations histologiques qui mettent en évidence les corps cellulaires sont utilisées depuis plus d'un siècle pour cartographier l'architecture de la substance grise.

La perte de volume de matière grise est souvent corrélée au déclin cognitif lié au vieillissement et à la maladie.