Un rootkit dissimule sa présence et conserve un accès privilégié. Son nom provient de « root », le niveau de privilège le plus élevé sur les systèmes Unix, et de « kit », un ensemble d'outils. Un rootkit s'infiltre profondément dans le système d'exploitation. Il peut modifier la structure du noyau, intercepter les appels système ou remplacer des fichiers binaires légitimes par des versions infectées. Son objectif est l'invisibilité. Les logiciels antivirus, qui s'appuient sur l'analyse des fichiers et des processus, ne peuvent pas détecter ce que le rootkit dissimule.

Les rootkits se présentent sous différentes formes. Les rootkits en mode utilisateur interceptent les API pour dissimuler leurs processus et fichiers. Les rootkits en mode noyau modifient directement le noyau, ce qui leur confère un contrôle maximal. Les bootkits infectent le chargeur de démarrage ou le firmware ; ils se chargent donc avant le système d'exploitation et survivent à une réinstallation. Les rootkits matériels résident dans le firmware ou les contrôleurs de périphériques, ce qui les rend extrêmement difficiles à détecter et à supprimer. Le scandale des rootkits chez Sony BMG en 2005 a démontré comment une entreprise légitime pouvait déployer un logiciel malveillant de type rootkit. Le système de protection contre la copie de Sony était invisible pour les utilisateurs et créait des failles de sécurité. Les conséquences furent désastreuses. La détection des rootkits nécessite des outils spécialisés qui comparent l'état du système à des configurations de référence fiables. Leur suppression implique souvent la réinstallation complète du système. Il est impératif de ne pas faire confiance à une machine infectée par un rootkit.

Types de rootkits

• Mode utilisateur — utilise des API pour masquer les processus et les fichiers
• Mode noyau — modifie le noyau pour un contrôle approfondi
• Bootkit — infecte le chargeur de démarrage et se charge avant le système d'exploitation.
• Le micrologiciel — réside dans le matériel, et survit à la réinstallation

Les rootkits sont axés sur la persistance et la furtivité. Ils ne constituent pas l'attaque initiale, mais ce qui subsiste une fois l'attaquant installé.