Datenhandling ganz allgm. gefragt (gelöst) (Allgemeines zu Perl)

[thread]17505[/thread]

Datenhandling ganz allgm. gefragt [gelöst]

Tags: perl5 Ähnliche Threads

Leser: 23

Articles: hide open all | hide show old branches

+16 replies
geloescht

2012-06-20 23:29

User since
2012-06-19
141 Artikel
BenutzerIn

Abend Leute,

bevor ich für heute schließe, möchte ich noch eine Frage loswerden. Sie betrifft das Datenhandling...

Ich bekomme von einem Formular verschiedene Daten in mein Script. Normalerweise speichere ich diese in einer CSV-Datei. Schön getrennt nach einem Separator (i. d. R. ein Semikolon). Bei meinem momentanen Projekt gibt es aber eine Besonderheit. Ein Datenfeld ist besonders groß (4000 Zeichen umfassend).

Eine Zeile in der CSV-Datei würde demnach so aussehen (Datensatz):

6-stelliger Wert; max. 40-stelliger Wert;4000-Stelliger Wert;4-stelliger Wert;40-stelliger Wert;2-stelliger Wert;8-stelliger Wert;IP-Wert;Datum;Uhrzeit

Normal kein Problem. Aber die 4000 Zeichen lange Textdaten würden meine CSV-Datei doch ziemlich unübersichtlich werden lassen.

Desshalb habe ich mit dem Gedanken gespielt, für jedes ankommende Formular (das ja aus all diesen Daten besteht) eine eigene Datei zu erstellen.

Als Dateinamen würd ich mir was aus dem Unix-Timestamp zusammenbauen - als eindeutiger Schlüssel - um Doppeldateinamen zu vermeiden.

Hier stellt sich allerdings die Frage, wieviele Dateien auf dem Server unter Perl platz haben, bevor der Webspace auseinander fällt *oje*.

Wie würdet Ihr so einen Input am besten ablegen?

Das Formular sieht in etwa so aus:

[url=http://]Test-Formular[/url]

Gruß

HP-User

modedit Editiert von GwenDragon: URL gelöscht auf Wunsch
Last edited: 2012-10-05 12:54:45 +0200 (CEST)
Past brought us "SYS 64738". Present brought us "ctrl+alt+del". But what will future bring?
- +2 replies
- Raubtier
  
  2012-06-20 23:52
  
  User since
  2012-05-04
  1075 Artikel
  BenutzerIn
  
  Hallo,
  
  also erstens: soo groß sind 4k Zeichen ja nun auch nicht - und da du die CSV-Datei ja wohl nicht von Hand anschaust, sollte das auch egal sein - zumindest solange du insgesamt nicht zu viele Datensätze hast.
  
  Auf keinen Fall würde ich pro Formular eine einzelne Datei erstellen - noch dazu nicht nach einem Timestamp! Was ist, wenn in derselben Sekunde zweimal dein Formular mit Daten abgeschickt wird? Das ist keine gute ID! Außerdem sind auch Verzeichnisse (je nach Dateisystem) ggf. in der Anzahl der Dateien limitiert und Zugriff könnte langsamer werden.
  
  Allerdings - und das ist mein eigentlicher Hinweis - solltest du das Rad nicht neu erfinden: es schreit deine Anforderung geradezu nach einer Datenbank! Du kannst zum Beispiel erstmal mit einer einfachen SQLite-Datenbank anfangen, die dann nur aus einer Datei besteht, wenn du nicht MySQL oder PostgreSQL oder was auch immer einsetzen willst. CSV ist ab einer gewissen Gesamtgröße deiner Datenbank irgendwann ungeeignet und selbst SQL nachzubauen, ist irgendwie nicht sinnvoll.
  Last edited: 2012-06-20 23:54:21 +0200 (CEST)
  - topeg
    
    2012-06-21 00:00
    
    User since
    2006-07-10
    2611 Artikel
    BenutzerIn
    
    Ohne das ich HP-User auf die Füße treten will.
    Ihm eine SQL-Datenbank zu empfehlen ist so als würdest du jemanden, der gerade lernt ein Feuerzeug zu bedienen, ein Raketentriebwerk in die Hand drücken.
    
    EDIT:
    
    Du hast natürlich recht. Eine DB wäre hier eine gute Lösung. Aber das setzt eine Menge wissen vor raus und ich weiß nicht ob diese vorhanden ist.
    Last edited: 2012-06-21 00:01:57 +0200 (CEST)
- +4 replies
- topeg
  
  2012-06-20 23:52
  
  User since
  2006-07-10
  2611 Artikel
  BenutzerIn
  
  Die Anzahl der Dateien in einem Verzeichnis hängt vom Betriebssystem. Bzw von Dateisystem ab. Unter Linux sind es glaube ich mit Sicherheit 2 hoch 32 Namen. Bei manchen Dateisystemen 2 hoch 128. bei Windows weiß ich es nicht. Da gibt es möglicherweise noch Einschränkungen durch die Abstammung von DOS.
  Ich weiß ja nicht wie viele Geschichten du sammeln willst.
  
  Aber wenn du sorgen um die Anzahl hast kannst du ja pro Stunde oder pro Tag einen neuen Ordner anlegen und dort die Dateien ablegen.
  
  Perl selber kann Dateien verwalten bis der Speicher voll ist. Ich habe schon mal eine Million Dateinamen im Speicher gehalten. Also Die Grenzen liegen nicht bei Perl.
  - +3 replies
  - geloescht
    
    2012-06-21 00:11
    
    User since
    2012-06-19
    141 Artikel
    BenutzerIn
    
    Hi nochmal - (Dann is aber Schluß für heute)
    
    Ich denke das ich Softwaremäßig gut ausgestattet bin :-)
    
    Also MySQL5 wär verfügbar... aber(!) Ich hab Null Ahnung von MySQL. Da braucht man in Perl so STD In und Out. Außerdem Querrys (das sind glaub ich, Abfragen. Vom Aufbau einer MySQL habe ich im Wikipedia einiges gelesen. Der Ordner im Filesystem stellt die Datenbank dar. In dem Ordner sind Angaben zur Datenbank. Es gibt Files in dem Ordner, diese sind die Tabellen (ähnlich Excelsheet). Und jetzt kommts: Je nach verwendeter Tabelle (File), kann eine eigene Engine zum Bearbeiten der Tabelle verwendet werden. Also alles ziemlich komplex... aber auch interessant *g*
    
    So, bevor ich mich verzettel. Aus deinem Post lese ich: CSV gut. Einzelne Dateien böse! Vorteilhaft MySQL. SIeht fast so aus, als daß ich doch mal langsam mit diesem DB-Zeugs anfangen müsste. Ich wollte ja schon lange mal was mit MySQL machen. Ist ja auch _das_ am meisten verwendete DB-System der Welt *hehe*
    
    So denn - Gute Nacht, morgen wieder früh raus - wie immer eben...
    
    Gruß HP-User
    Past brought us "SYS 64738". Present brought us "ctrl+alt+del". But what will future bring?
    - topeg
      
      2012-06-21 00:34
      
      User since
      2006-07-10
      2611 Artikel
      BenutzerIn
      
      2012-06-20T22:11:11 ?
      Einzelne Dateien böse!
      Das Schrieb ich nicht. Du solltest nicht so bald an die grenzen des Systems kommen. 2 hoch 32 sind 4294967296 Ich weiß ja nicht mit wie vielen Beiträgen du rechnest.
      Es ist vorteilhaft häufig gelesenen Dateien klein zu halten. Je kleiner um weniger muss Perl arbeiten diese zu lesen oder zu schreiben. Interaktionen mit dem System oder Programmen kostet immer Zeit.
    - Raubtier
      
      2012-06-21 00:35
      
      User since
      2012-05-04
      1075 Artikel
      BenutzerIn
      
      Naja, es kommt halt immer auf die Größe an. Wenn ich nur ein paar Datensätze habe, dann lohnt sich eine "echte" Datenbank nicht unbedingt. Was die Anzahl Dateien angeht: es gibt durchaus Dateisysteme, die deutlich weniger als 2e32 Dateien handeln können. Zum Beispiel ist bei AFS das Limit 64.000, wenn die Dateinamen kurz sind und entsprechend weniger bei längeren Dateinamen. Nun wird man allerdings vermutlich AFS nicht für sowas einsetzen, dennoch sollte man vielleicht die Anzahl der Dateien pro Ordner in sinnvollem Rahmen halten... externe Dateien können schon sinnvoll sein, wenn die dort zu speichernden Daten wirklich groß sind. Nur muss man das dann immer manuell behandeln - und da sehe ich bei deinen kurzen Texten keinen Sinn drin.
      
      Wenn du willst, kannst du auch erst einmal mit DBD::CSV spielen. Dann kannst du auf deine CSV-Datei praktisch mit SQL-Befehlen zugreifen (allerdings nur mit sehr sehr einfachen). Kann vielleicht zum Lernen mal nützlich sein, würde ich aber nicht produktiv einsetzen. Lies dich einfach mal in Datenbanken ein, z.B. "perldoc DBI", "perldoc DBD::SQLite" oder "perldoc DBD::mysql". Ich mag für so kleine Sachen SQLite, weil man da nicht erst kompliziert einen Server installieren muss, sondern einfach nur eine Datei hat, in der alles drin ist.
- +8 replies
- Gast Muffi
  
  2012-06-21 08:41
  
  Aus eigener Erfahrung (falls dem so sein sollte):
  Popel nicht eigenhändig an einem CSV-Parser herum.
  
  Falls das Format egal ist guck mal obs irgendwo JSON gibt, das ist einfach zu handhaben und vorallem funktioneirts auch garantiert.
  Last edited: 2012-06-21 09:08:32 +0200 (CEST)
  - +7 replies
  - geloescht
    
    2012-06-21 21:55
    
    User since
    2012-06-19
    141 Artikel
    BenutzerIn
    
    Abend Leute
    
    Die Entscheidung fürs Script ist gefallen. Ich versuche es mit CSV - aber zu Fuss. Da hab ich einfach die bessere Kontrolle. Melde mich später mit ein paar Fehlerabfangfragen in einem neuen Thread mit ander Thematik.
    
    Die Datenhändlingfrage ist für mich bis hierher gelöst. Danke an alle für die Vorschläge.
    
    Gruß HP-User
    Past brought us "SYS 64738". Present brought us "ctrl+alt+del". But what will future bring?
    - +5 replies
    - Linuxer
      
      2012-06-21 22:32
      
      User since
      2006-01-27
      3890 Artikel
      HausmeisterIn
      
      Wenn Du CSV nutzen willst, schau Dir mal Text::CSV oder Text::CSV_XS an.
      meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
      Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
      - +4 replies
      - Gast Muffi
        
        2012-06-22 08:53
        
        Scheinbar will ers ja per Hand machen.
        Bin gespannt was sein Parser macht, wenn das erste mal ein ; im Text vorkommt.
        Oder ein Zeilenumbruch.
        
        Vorallem hätte auch JSON mit fertigem Modul den charmanten Vorteil, dass es als Hashes gespeichert jeden Wert in ner eigenen Zeile hat, und damit das Langtextproblem gelöst wäre.
        Last edited: 2012-06-22 09:25:11 +0200 (CEST)
        
        +3 replies
        
        Molaf
        
        2012-06-22 12:42
        
        User since
        2007-10-11
        119 Artikel
        BenutzerIn
        
        Solange das Programm nicht auf der Arbeit oder mit total wertvollen Daten verwendet wird, kann man ruhig mal was ohne Module machen - finde ich.
        
        Naturlich sind Sachen per Modul schneller einsetzbar und sehr wahrscheinlich auch umfangreicher getestet/vertrauenswürdig. Aber wenn man nie die einfachen Sachen mal zu fuss erledigt kommt man später nicht weiter, wenn man mal auf was stößt, für das es kein Modul gibt.
        
        IMHO: Man lernt aus Fehlern, und wenn man nie welche macht, dann lernt man ja auch nichts.
        
        Gruß,
        Molaf
        
        Gast Muffi
        
        2012-06-22 13:03
        
        2012-06-22T10:42:31 Molaf
        Aber wenn man nie die einfachen Sachen mal zu fuss erledigt kommt man später nicht weiter, wenn man mal auf was stößt, für das es kein Modul gibt.
        
        Ja und nein.
        Oder anders: alles zu seiner Zeit. Sein Stand ist momentan eine obskure goto-programmierung mit Codeblöcken, die sich von zig auf eine Zeile reduzieren lassen.
        Wenn er mal die Grundlagen der Perlprogrammierung kann kann er auch mal ein Modul per Hand programmieren und lernt dann auch was dabei.
        Zum momentanen Zeitpunkt kommt garantiert irgendwas verbuggtes und unwartbares raus. Ob da ein grosser Lerneffekt dabei ist?
        Last edited: 2012-06-22 13:36:41 +0200 (CEST)
        
        Raubtier
        
        2012-06-22 13:13
        
        User since
        2012-05-04
        1075 Artikel
        BenutzerIn
        
        Schon richtig, nur frage ich mich dann, ob das Schreiben von Webformulare im Internet wirklich der richtige Startpunkt ist! Es ist zu leicht, hier Sicherheitslücken einzubauen. Von daher würde ich erst einmal versuchen, in einem lokalen Testprogramm das CSV-Parsen auszuprobieren und mich erst danach überhaupt mit sicherheitskritischen Dingen beschäftigen.
    - GwenDragon
      
      2012-06-22 11:18
      
      User since
      2005-01-17
      14748 Artikel
      Admin1
      
      Willst du lernen, was du bei einem CSV-Parser alles falsche machen kannst? Dann ist dein Vorgehen super.
      Ansonsten baust du dir nur mit einem selbstgestricktem Parser irgendwelche versteckten Probleme ein.
      Wofür gibt es denn Text::CSV oder gar Text::CSV_PP? Was ist an so einem Modul schlecht?
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- Jejerod
  
  2012-06-22 15:39
  
  User since
  2011-10-12
  16 Artikel
  BenutzerIn
  
  2012-06-20T21:29:30 ?
  Desshalb habe ich mit dem Gedanken gespielt, für jedes ankommende Formular (das ja aus all diesen Daten besteht) eine eigene Datei zu erstellen.
  
  Ohne in irgendwelchen Code zu schauen: Die meisten Filesysteme werden bei vielen Dateien langsam - sie können damit um, aber die performance geht in den Keller. Bei Hochleistungs-Dateisystemen wie ZFS oder BTRFS bin ich auch schon beim Indexing auf Problemen gestoßen (alle Dateien heißen gleich, z.b. Foo-<Timestamp>-<num>.file. Die Problemstellung für dich ist also "wie viel Dateien erwartest du maximal" und "welches FS liegt drunter".
  
  2012-06-20T21:29:30 ?
  Wie würdet Ihr so einen Input am besten ablegen?
  
  Datenbank, da meist eh vorhanden. SQL Skills sind außerdem ein must-have, also eine sinnvolle Möglichkeit sich im Rahmen eines Projektes weiterzubilden. Ob es SQLite oder MySQL oder Oracle oder... ist, ist dabei unerheblich. Zudem bleibt man flexibel - wachsen die Anforderungen an das Projekt, kann man das Problem mit Geld bewerfen (standalone Datenbankserver) bis es verschwindet.

View all threads created 2012-06-20 23:29.