da hatte ich mich bis dato noch gar nicht drum gekümmert, aber jetzt, wo du das sagst, hab ich Folgendes entdeckt:
http://support.google.com/picasa/bin/answer.py?hl=de&answer=11504
Habe es eben mal ausprobiert, geht ganz einfach: Album durch anklicken öffnen, dann auf Aktionen gehen und dort "löschen", und Schwupp, isses weg.
Man muss nur aufpassen, dass man Ordner und Album nicht verwechselt (siehe Infos in dem link), bei Ordner macht Picasa nämlich noch was auf der Festplatte.