Auswerten der Proxy Log-Datei (Allgemeines zu Perl)

[thread]19868[/thread]

Auswerten der Proxy Log-Datei

Tags: perl5 Ähnliche Threads

Leser: 11

Articles: hide open all | hide show old branches

+7 replies
Gast Nico

2015-11-02 13:43

Hallo ich habe folgendes Problem
Ich möchte die Proxy Log Datei (acces.log.proxy) auslesen um die Verbindungszeit pro IP Adresse vom Vortag zu ermitteln. Die ermittelten Daten möchte ich dann in einer CSV-Datei speichern.
Wer kann mir helfen? Ich verzweifle an dieser Aufgabe.
LG Nico
Last edited: 2015-11-02 15:17:06 +0100 (CET)
- +6 replies
- Linuxer
  
  2015-11-02 15:26
  
  User since
  2006-01-27
  3882 Artikel
  HausmeisterIn
  
  Hi,
  
  woran verzweifelst Du genau?
  Leider lieferst Du nur sehr grobe Infos.
  
  Was heißt Verbindungszeit? Ist das der Zeitpunkt, wann eine Verbindung angefordert wurde? Soll das die Dauer sein, wie lange eine Verbindung bestanden hat?
  Welcher Proxy? Wie ist das Log aufgebaut?
  
  Allgemein:
  - Zeilenweise Lesen der Datei
  - Pro Zeile:
  - - Zeile in Felder aufspalten und gewünschte Informationen zusammenstellen (z.B. Hash mit $ip => $verbindungszeit)
  meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
  Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
  - +5 replies
  - Gast Nico
    
    2015-11-03 08:53
    Hallo, also hier mal ganz genau das was ich machen muss.
    Ich soll ein Perl Programm schreiben, das die Verbindungszeit pro IP Adresse ermittelt und in einer csv datei speichert.
    Hier mal ein Auszug aus dieser Log Datei:
    
    Code: (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13
    
    192.168.0.130 - - [26/Oct/2015:09:01:42 +0100] "CONNECT mtalk.google.com:443 HTTP/1.1" 200 0 "-" "-" 192.168.0.130 - - [26/Oct/2015:09:02:09 +0100] "CONNECT mtalk.google.com:5228 HTTP/1.1" 403 458 "-" "-" 192.168.0.130 - - [26/Oct/2015:09:02:09 +0100] "CONNECT mtalk.google.com:5228 HTTP/1.1" 403 458 "-" "-" 192.168.0.130 - - [26/Oct/2015:09:02:10 +0100] "GET http://www.google-analytics.com/__utm.gif?utmwv=4.3 192.168.0.130 - - [26/Oct/2015:09:02:12 +0100] "POST http://173.45.118.34/NordsPp/Segment01/segment.a 192.168.0.130 - - [26/Oct/2015:09:01:56 +0100] "POST http://173.45.118.34/NordsPp/Segment01/segment.ashx 192.168.0.130 - - [26/Oct/2015:09:02:30 +0100] "GET http://www.google-analytics.com/__utm.gif?utmwv=4.3 192.168.0.130 - - [26/Oct/2015:09:02:31 +0100] "GET http://cdn01.x-plarium.com/nords/content/sector/bui 192.168.0.130 - - [26/Oct/2015:09:02:31 +0100] "POST http://173.45.118.34/NordsPp/Segment01/segment.ashx 192.168.0.6 - - [26/Oct/2015:09:02:33 +0100] "POST http://de-odc.samsungapps.com/ods.as HTTP/1.1" 200 192.168.0.130 - - [26/Oct/2015:09:02:35 +0100] "GET http://www.google-analytics.com/__utm.gif?utmwv=4.3a 192.168.0.6 - - [26/Oct/2015:09:02:37 +0100] "GET http://sr.symcd.com/MFYwVKADAgEAME0wSzBJMAkGBSsOAwIa 192.168.0.130 - - [26/Oct/2015:09:02:38 +0100] "GET http://cdn01.x-plarium.com/nords/content/sector/bu
    
    Wie man sieht sind die Logzeiten nicht sortiert.
    Das Programm soll nun die erste zeit des Tages an dem sich ein user anmeldet mit der letzten log zeit des Tages verrechnen (Differenz bilden) und in eine Liste schreiben (csv) und das für alle User. Allerdings wird die Proxy Log Datei nicht jeden tag überschrieben sondern immer die neuen Daten angehangen, sodass auch auf das Datum geachtet werden muss.
    
    modedit Editiert von GwenDragon: Logzeilen mit CODE-Tag formatiert
    Last edited: 2015-11-03 16:59:11 +0100 (CET)
    - +3 replies
    - Raubtier
      
      2015-11-03 09:32
      
      User since
      2012-05-04
      1071 Artikel
      BenutzerIn
      
      Man könnte natürlich auch den ELK-Hammer nehmen, d.h. das ganze mit logstash parsen und sich einfach in Kibana anzeigen lassen.
      
      Schnelle Lösung (mit Perl oder auch mit anderne Tools):
      1. Datum in ein anständiges Format bringen, d.h. Jahr-Monat-Tag
      2. Datei sortieren
      3. Durchscannen und Differenzen rausschreiben.
      - +2 replies
      - Gast Nico
        
        2015-11-03 09:34
        
        Ok schnelle Lösung....... aber wenn man so wie ich keine ahnung hat. Ist das alles andere als schnell zu machen
        Last edited: 2015-11-03 11:08:48 +0100 (CET)
        
        Raubtier
        
        2015-11-03 12:10
        
        User since
        2012-05-04
        1071 Artikel
        BenutzerIn
        
        Was hast du denn schon am angefangen, woran verzwifelst du?
    - MisterL
      
      2015-11-04 07:25
      
      User since
      2006-07-05
      334 Artikel
      BenutzerIn
      
      Hierzu könnte man zwei Perl-Module verwenden: Tie::File + DateTime
      Tie::File um Zeilen der Datei, die einer bestimmten Bedingung genügen (erstes Auftauchen des Users von oben, erstes Auftauchen des Users von unten (das File-Array wird also umgekehrt gelesen)), aufzusuchen. Daneben hat Tie::File weniger Probleme mit grossen Dateien. Date::Time um die Zeiten auszulesen.
      
      Bspl. f. Date::Time: http://www.perlmonks.org/?node_id=408168
      “Perl is the only language that looks the same before and after RSA encryption.”

View all threads created 2015-11-02 13:43.