Wenn du eine EXE-Datei einfach so öffnen konntest ohne sie zu installieren, dann musst du sie auch nicht über Systemsteuerung/Software deinstallieren, weil sie in der Windows-Datenbank keine Einträge hinterlassen haben. Meist sind das kleine Progrämmchen, die nur die in Windows vorhandenen Steuerelemente (Textfelder, Schaltknöpfe) verwenden.
Ich empfehle dir aber, irgend ein Programm zur Reparatur oder zum Säubern der Registry zu installieren und hin und wieder laufen zu lassen. (z.B. Ashampoo oder RegCleaner oder was sonst zu finden ist)