Viele, sehr viele Dateien in einem Verzeichnis unter Linux löschen
Ein bestimmter Server wurde in letzter Zeit immer unzuverlässiger und stürzte öfter mal ab, ohne dass wir eine genaue Ursache ausmachen konnten. Gestern habe ich mich dem Server noch mal angenommen und ein bisschen Ursachenforschung betrieben. Ein einfaches ls -la /var/log dauerte schon ewig. Ich spekulierte schon über einen Festplattenschaden bis ich dann irgendwann tatsächlich eine endlose Dateiliste zu sehen bekam.
Ein ls -la | wc -l brachte hervor, dass in diesem Ordner mehr als 1,3 Millionen Files lagen. Kein Wunder, dass der Server dabei ab und an mal Schwierigkeiten hat. Die Ursache war, dass sich auf Debian/Ubuntu Systemen der sysklogd und logrotate gegenseitig in die Quere kommen. Aber dazu vielleicht ein anderes Mal mehr. Nun musste ich erst mal die ganzen überflüssigen Dateien löschen.
Das ist etwas leichter gesagt als getan, denn ein rm /var/log/mail.0.* brachte schon einen Fehler, dass die Liste der Dateien zu gross sei.
Lösung 1:
find /var/log -name "mail.0.*" -exec rm '{}' \;
find bearbeitet jede Datei einzeln, startet dann rm um die einzelne Datei zu löschen. Das funktionierte grundsätzlich, löschte allerdings nur ca. 150 Files pro Sekunde. Somit hätte der gesamte Vorgang 144 Stunden oder 6 ganze Tage gedauert. Ich brauchte eine andere Lösung.
Lösung 2:
find /var/log -name "mail.0.*" -delete -print
Damit übergibt find die Dateien nicht mehr an rm, sondern löscht sie gleich selbst. Damit erreichte ich ca. 2.000 Files pro Sekunde. Der gesamte Vorgang verkürzte sich somit auf ca. 10 Minuten. Das -print ist übrigens nur notwendig, wenn man sehen möchte, welche Dateien find löscht. Ohne Ausgabe dürfte es noch etwas schneller gehen. Na Also, geht doch.
EDIT: Da der Artikel in einer früheren Version unfertig gespeichert wurde, habe ich die fehlenden Lösungen noch ergänzt .
EDIT 2: "-name" ergänzt. Falscher Fehler in meiner Erinnerung.
Kommentare
Ansicht der Kommentare: Linear | Verschachtelt
Jochen am :
find /var/log -name 'mail.0.*' -type f
Und dann weg damit;
find /var/log -name 'mail.0.*' -type f -exec rm -f {} \;
Marco Gabriel am :
Jochen am :
Wolf am :
täte es auch und würde eine eventuelle "too many arguments" Fehlermeldung vermeiden.
Marco am :
DH am :
Eine sehr wertvolle Hilfe (Lösung 2), die ich gerade jetzt brauchte!
Lars am :
So ist das wenigstens in absehbarer Zeit lösbar.
Clas am :
Bei 10 Minuten mit einer Rate von 2000 1/s komme ich auf 1,2 Mio. Dateien. Bei 144 Stunden mit einer Rate von 150 1/s komme ich auf 77,8 Mio. Dateien. Eine Löschrate kann also nicht ganz stimmen, allerdings wenn die Anzahl der Dateien gleich war, dann hat diese Methode das Ganze noch viel stärker beschleunigt.
Alex am :
Qnap TS 219P+
Alex
Jörn Poppenhäger am :
was auch geht ist, die Dinger in einer Schleife zu löschen
for i in * ; do rm $i ; done
Hat zumindest auf meinem Webserver problemlso mit 90500 Cache Dateien mit einer Größe von mehr als 4 GB funktioniert
chris am :
Danke erstmals für deine tips, jedoch hast nen kleinen Rechnungsfehler
Es handelt sich bei deinen berechneten 144h um 144Minuten, was einen kleinen aber doch wesentlichen Unterschied in der Zeitrechnung macht somit wärens noch etwas über 2h
gruss