Frisch geschnittenes Hirngewebe zeigt zwei deutlich unterschiedliche Farben. Die graue Substanz besteht hauptsächlich aus neuronalen Zellkörpern, Dendriten, unmyelinisierten Axonen und den Synapsen zwischen ihnen. Sie bildet die äußere Rindenschicht und findet sich auch in tiefen Kerngebieten und im zentralen Kern des Rückenmarks.

Da hier Synapsen konzentriert sind, ist die graue Substanz der primäre Ort neuronaler Informationsverarbeitung. Die kortikale graue Substanz ist in Schichten unterteilt, die sich in Zelltypen und Verbindungen unterscheiden. Dicke und Integrität der grauen Substanz verändern sich im Laufe des Lebens und sind bei vielen neurologischen und psychiatrischen Erkrankungen verändert; moderne Bildgebungsverfahren quantifizieren diese Veränderungen bei lebenden Menschen.

Im Gegensatz dazu enthält die weiße Substanz die weitverzweigten, myelinisierten Axone, die entfernte Bereiche der grauen Substanz miteinander verbinden. Beide Kompartimente sind essenziell, doch die meisten lokalen Verarbeitungsprozesse und die größte Plastizität finden in der grauen Substanz statt. Histologische Färbungen, die Zellkörper hervorheben, werden seit über einem Jahrhundert zur Kartierung der Architektur der grauen Substanz eingesetzt.

Der Verlust an grauer Substanz korreliert häufig mit kognitivem Abbau im Alter und bei Krankheiten.