Hi,

ich versuche eine Logdatei mit File::Tail zu verfolgen und zu verarbeiten.
Leider hat sich herausgestellt, dass der Prozess stetig mehr Speicher
verbraucht. Letztendlich wird der Prozess wegen zu wenig verfuegbaren
freien Speicher gekillt.

Weis jemand eine Moeglichkeit eine Logdatei zu verfolgen und dabei nicht
immer mehr Speicher zu verbrauchen?

Ich habe auch den Puffer explizit begrenzt. Hilft trotzdem nix:


Gruß Alex

von wieviel zeilen pro sekunde reden wir denn?
das sollte nicht passieren und du solltest einen bugreport aufmachen.
am besten wäre es natürlich erstmal, du postest ein skript und passende daten, die es
reproduzieren.

Das hab ich so genau nicht gemessen. Ich denke, dass es so 5-10 Zeilen pro Sekunde sind.

Das ist eine fertige Software: http://www.logging-architecture.net/pla2/

Schade. Das Ding sieht mir sehr inaktiv aus.

Kennt jemand eine aehnlichen Ansatz zum Verarbeiten von Firewall Logs?

Alex

format_c+2009-01-23 22:13:32--

Das ist eine fertige Software: http://www.logging-architecture.net/pla2/

und woher weisst du, dass das mit dem speicherverbrauch an File::Tail liegt?

von der idee ist es so:
1) springe mit sysseek ans Ende der Datei, dadurch erhälst du die Größe L1 der Datei
2) springe mit sysseek X bytes zurück und lese mit sysreed von X bis L1
3) springe mit sysseek ans Ende der Datei, dadurch erhälst du die neue Größe L2 der Datei
4) springe mit sysseek P=(L2-L1) bytes zurück und lese mit sysreed von P bis L2
5) usw.

HTH