Čerstvě řezaná mozková tkáň vykazuje dvě odlišné barvy. Šedá hmota se skládá převážně z těl neuronálních buněk, dendritů, nemyelinizovaných axonů a synapsí mezi nimi. Tvoří vnější kortikální vrstvu a objevuje se také v hlubokých jádrech a v centrálním jádru míchy.

Protože se zde koncentrují synapse, je šedá hmota primárním místem nervových výpočtů. Kortikální šedá hmota je organizována do vrstev, které se liší typy buněk a spojeními. Tloušťka a integrita šedé hmoty se v průběhu života mění a jsou změněny u mnoha neurologických a psychiatrických onemocnění; moderní zobrazovací metody tyto změny u žijících lidí kvantifikují.

Naproti tomu bílá hmota obsahuje myelinizované axony s dlouhým dosahem, které spojují vzdálené oblasti šedé hmoty. Oba kompartmenty jsou nezbytné, přesto je šedá hmota místem, kde dochází k většině lokálního zpracování a plasticity. Histologická barvení, která zvýrazňují buněčná těla, se používají k mapování architektury šedé hmoty již více než století.

Úbytek objemu šedé hmoty často koreluje s kognitivním poklesem ve stárnutí a s nemocemi.