Zugriffe effektiv loggen und verarbeiten (Allgemeines zu Perl)

[thread]16539[/thread]

Zugriffe effektiv loggen und verarbeiten

Tags: log statistik access auswerten Ähnliche Threads

Leser: 21

Articles: hide open all | hide show old branches

+4 replies
roooot

2011-07-18 23:25

User since
2008-03-03
276 Artikel
BenutzerIn

Hallo Leute,

ich will Zugriffe auf bestimmte Dinge speichern, beispielsweise wenn sich ein User ein Album anschaut. Möglichst mit genauer Uhrzeit. Hierbei interessiert erstmal nur die Anzahl der Views des Albums über alle User. Diese Statistiken sollen anhand von Zeitintervallen gefiltert werden (letzten XX Minuten, letzten XX Tage oder zwischen Tag.Monat.Jahr und Tag2.Monat2.Jahr2). Diese Filter sollten variabel sein und nicht von festen Zeiten ausgehen (beispielsweise wenn man die letzten 60 Minuten anschaut, als Zeiteinheit Minuten verwenden, bei Tagen als Zeiteinheit Tage) - ein möglicher Filter sollte auch sein: Die letzten 90 Tage mit Zeiteinheit 3 Stunden. Die Zeiteinheit sollte frei wählbar sein -- egal wie logisch es erscheint sich die Statistiken von einem Jahr in Minuten anzeigen zu lassen.
Ich denke Minuten als kleinste granulare Einheit sollte reichen, sekundenbasiert ist unnötig.

Wie komme ich an die Daten?
Ich könnte jetzt jeden Zugriff speichern, allerdings verfälscht das meine Statistiken, wenn ein User ein und dasselbe Album 10 mal hintereinander speichert. Sprich hier muss schonmal eine Sperre mit Userid her.
Weiter will ich die Daten möglichst effektiv speichern, sprich nicht jeden Zugriff plain. Die Verarbeitung der Daten kann in Echtzeit oder mittels cronjob erfolgen (letzteres würde mir eher zusagen, allein schon aus performcegründen, wenn viel los ist und viele Klicks generiert werden).
Ich suche also auch nach einer geeigneten Datenstruktur um die Daten zu speichern und möglichst performant auszulesen.
Da potentiell jeder User sich die Statistiken in einem Graph anzeigen lassen kann, sollten die vorbereiteten Daten irgendwo gecached werden und nicht jedesmal neu erstellt werden (RAM oder Filesystem oder Datenbank ist hierbei egal, ich dachte an Storable auf Filesystem -- deswegen auch per cronjob erstellen lassen).
Statistische Spielerein wie Varianz berechnen, Trend usw wären optional, die Daten sollten allerdings so gespeichert werden, dass sie es erlauben.

Ich habe es früher so gemacht, dass nur die letzte Stunde minutenweise gespeichert wird, danach bis 24 Stunden stundenweise und danach Tageweise.
Das erlaubt mir allerdings nur starre Filter wie: Zeige die letzte Stunde an usw. Das möchte ich nun besser machen.

Ich danke euch für Ideen und Anregungen wie ich das mit Perl realisieren kann. Ich brauche keinen Code, nur eine Idee für das Datenmodell. Die Umsetzung bekomme ich dann schon hin ;)
Last edited: 2011-07-18 23:27:09 +0200 (CEST)
Viele Grüße :)
- +3 replies
- rosti
  
  2011-07-19 10:20
  
  User since
  2011-03-19
  3470 Artikel
  BenutzerIn
  
  hi,
  
  hinsichtlich Deiner Abfragen bietet sich ein RDBMS, eine Tabelle. Für Datum/Zeit den Feldtyp 'DATETIME', da kannst Du beim Insert mit NOW() arbeiten und es gibt viele Möglichkeiten für Abfragen, Gruppierungen nach Jahr, Monat, Tag usw.
  
  Für den Besucher brauchst Du einen Identifier (ID). Nimm NICHT die IP-Adresse, die ist nicht eindeutig. Es gibt zwei Möglichkeiten:
  
  1) Loggen mit Ajax: ID wird als Quersumme aus verschiedenen Angaben zum CLient-System gebildet (Bildschirmauflösung, Zeitzone u.v.a.m., was JavaScript so hergibt). Alle Angaben aneinandergehängt über md5. Das mache ich seit Jahren so und die ID ist ziemlich eindeutig, zumindest habe ich bisher keine Duplikate festgestellt und wenn, der Fehler wäre gerinschätzig (private Verwendung).
  
  2) Cookie: md5-Checksumme serverseitig erzeugen. Wird eindeutig.
  
  Beachte, dass 1) und 2) vom Besucher abgeschaltet werden kann.
  
  Zu 1), Vorteil: Bots kommen gar nicht erst rein in die Statistik und es gibt erfahrungsgemäß kaum Besucher, die ohne Javascript unterwegs sind.
  
  Meine Log-Tabelle ist recht einfach, es gibt lediglich die Felder
  
  url, datetime, referrer, id
  
  jedoch viele Möglichkeiten der Abfragen.
  
  --Rosti
  - +2 replies
  - roooot
    
    2011-07-19 12:19
    User since
    2008-03-03
    276 Artikel
    BenutzerIn
    
    Stimmt, wenn ich eine Datenbank verwende kann ich group by o.ä. verwenden. Klingt eigentlich ganz logisch.
    
    Aufbau sieht jetzt mal so aus:
    
    Code: (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12
    
    mysql> describe statistics; +-----------+--------------+------+-----+-------------------+-----------------------------+ | Field | Type | Null | Key | Default | Extra | +-----------+--------------+------+-----+-------------------+-----------------------------+ | id | int(11) | NO | PRI | NULL | auto_increment | | type | varchar(32) | NO | | NULL | | | type_id | varchar(128) | YES | | NULL | | | timestamp | timestamp | NO | | CURRENT_TIMESTAMP | on update CURRENT_TIMESTAMP | | user_id | mediumint(9) | YES | MUL | NULL | | | referer | varchar(256) | YES | | NULL | | +-----------+--------------+------+-----+-------------------+-----------------------------+ 6 rows in set (0.00 sec)
    
    Allerdings habe ich bedenken, wenn ich irgendwann mal ein paar Millionen Einträge habe und anschließend eine Operation wie
    SELECT count(`type`) as type, DATE_FORMAT( timestamp, '%Y-%m-%d 00:00' ) as ts from `statistics` group by DATE_FORMAT( timestamp, '%Y-%m-%d 00:00' ), `type` order by `ts` descauführe, dass das ewig dauert?
    Sollte man typische Abfragen cachen? Sollte ich type in der DB noch als Index definieren, bringt mir das performance Vorteile?
    Viele Grüße :)
    - rosti
      
      2011-07-19 12:30
      
      User since
      2011-03-19
      3470 Artikel
      BenutzerIn
      
      hi,
      
      die Performance der Abfragen wird dadurch bestimmt, dass der Index auf den der Where-Klause entsprechenden Feldern sitzt. Wenn nur geloggt wird, muss der Index nicht unique sein. Mit dem Index auf den richtigen Feldern (z.B. datetime) sind Abfragen über eine Mio Records kein Problem.
      
      Bei meinen Logs verwerfe ich Einträge nach einer bestimmten Zeit, bei mir sind das derzeit 30 Tage. Das macht das Log-Script selbst, eleganter wäre dafür ein Trigger und eine Stored Procedure.
      
      --Rolf

View all threads created 2011-07-18 23:25.