Ein wesentlicher Unterschied zwischen herkömmlicher Software und KI liegt in der wahrgenommenen Intelligenz der Letzteren. Während Software vordefinierte Anweisungen ausführt, scheint KI zu denken, zu schlussfolgern und sich anzupassen. Dies kann die Illusion des Verstehens erzeugen, auch wenn kein wirkliches Verstehen vorhanden ist. KI-Systeme besitzen kein Bewusstsein und keine Intentionalität; sie arbeiten auf der Grundlage statistischer Korrelationen. Dies hat erhebliche Auswirkungen auf Vertrauen, Verantwortung und Rechenschaftspflicht. Benutzer können davon ausgehen, dass ein KI-System etwas „weiß“, während es in Wirklichkeit nur eine plausible Reaktion auf der Grundlage von Mustern in seinen Trainingsdaten erzeugt. Daher bleibt die menschliche Aufsicht unerlässlich. Experten müssen die Ergebnisse validieren, sicherstellen, dass ethische Überlegungen eingehalten werden, und die Kontrolle über die Entscheidungsprozesse behalten.