Analyse von > 1TB Daten (Allgemeines zu Perl)

[thread]19921[/thread]

Analyse von > 1TB Daten

Tags: log Analyse Ähnliche Threads

Leser: 14

Articles: hide open all | hide show old branches

+4 replies
roli

2015-12-11 10:32

User since
2004-12-31
424 Artikel
BenutzerIn

Hallo,

mitte Januar werde ich nach derzeitigem Stand über 1 TB Daten bekommen (Akamai Download Statistiken, ...) die ich auswerten soll.
Daten analysieren ist das eine, aber >1TB sicherlich etwas anderes. Ob es am Ende wirklich über 1TB Daten sind, wird sich zeigen, aber es wird sich sicher nicht auf einige wenige MB reduzieren.
Nach heutigem Stand habe ich freie Hand wie ich vorgehen möchte, was ja schon mal schön ist. Wie würdet ihr hier vorgehen, gibt es Dinge die man unbedingt vermeiden sollte, ...

Danke
Roland
--
"Steh vorn, während du fragst;
sitzen soll, wer antwortet."
Aus "Die Edda des Snorri Sturluson" "Gylfis Täuschung" Strophe 2
- +3 replies
- Raubtier
  
  2015-12-11 10:53
  
  User since
  2012-05-04
  1075 Artikel
  BenutzerIn
  
  Zeilenweise lesen statt alles auf einmal in den RAM tun?
  
  Du kannst ja mal ein "head -n 1000" auf die Daten machen um zu sehen, was du so an Informationen bekommst. Vielleicht kannst du das ganze schon gleich sinnvoll zeilenweise parsen.
  
  Ich erzeuge dann gerne direkt .root-Dateien zur weiteren Analyse in ROOT (https://root.cern.ch/), aber sehr wahrscheinlich ist für deinen Anwendungsfall ein anderes Tool besser geeignet.
  
  Wenn es logs sind und du alle Informationen brauchst, kannst du dir auch mal ELK anschauen - vielleicht gibt es da sogar schon einen fertigen Parser für deine Daten. Hängt ja auch alles davon ab, was genau du aus den Daten wissen möchtest bzw. was genau drin steht.
  
  Ggf. reicht es auch aus, zufällige 0.1% (oder was für ein Anteil auch immer) der Daten zu extrahieren und das ganze dann irgendwie in ein Statistiktool wie R zu laden.
  - +2 replies
  - roli
    
    2015-12-11 11:10
    
    User since
    2004-12-31
    424 Artikel
    BenutzerIn
    
    Hi Raubtier,
    
    schon mal danke für deine Antwort.
    Was genau die fragestellung sein wird, wird sich zeigen. Ich könnte mir vorstellen:
    -wie oft wurde Seite X abgerufen
    -welches sind die Top 10 Seiten
    -...
    Aber das sind alles vermutungen. Der Kollege der sich vor langer Zeit mal mit dem Thema beschäftigt hat, hat die Daten wohl in eine Postgress DB importiert. aber auch hier, geaueres erfahre ich erst mitte Januar.
    
    Danke
    Roland
    --
    "Steh vorn, während du fragst;
    sitzen soll, wer antwortet."
    Aus "Die Edda des Snorri Sturluson" "Gylfis Täuschung" Strophe 2
    - Raubtier
      
      2015-12-11 11:20
      
      User since
      2012-05-04
      1075 Artikel
      BenutzerIn
      
      Also ich glaube, ich würde das schnell mit logstash in ein Elasticsearch kippen und dann mit Kibana anschauen. Dabei musst du eigentlich nur aufpassen, dass du die Datenbankfelder in Elasticsearch richtig hast (z.B. soll ein String als ganzes im Index landen oder soll ES den splitten?). Hat vor allem den Vorteil, dass du schnell irgendwelche schönen Plots bekommen kannst.
      Last edited: 2015-12-11 11:21:28 +0100 (CET)

View all threads created 2015-12-11 10:32.