Свежесрезанная ткань головного мозга имеет два различных цвета. Серое вещество состоит в основном из тел нейронов, дендритов, немиелинизированных аксонов и синапсов между ними. Оно образует наружный корковый слой, а также присутствует в глубоких ядрах и в центральной части спинного мозга.

Поскольку синапсы сосредоточены именно здесь, серое вещество является основным местом нейронных вычислений. Корковое серое вещество организовано в слои, различающиеся по типам клеток и связям. Толщина и целостность серого вещества меняются на протяжении жизни и изменяются при многих неврологических и психиатрических заболеваниях; современные методы визуализации позволяют количественно оценить эти изменения у живых людей.

В отличие от серого вещества, белое вещество содержит длинные миелинизированные аксоны, соединяющие отдаленные области серого вещества. Оба отдела важны, однако именно в сером веществе происходит большая часть локальной обработки информации и пластичности. Гистологические красители, позволяющие выделить тела клеток, используются уже более века для картирования архитектуры серого вещества.

Уменьшение объема серого вещества часто коррелирует с когнитивными нарушениями при старении и заболеваниях.