Schrift
[thread]3682[/thread]

Reports in eine Datenbank laden für Auswertungen: Anfänger braucht dringend Starthilfe



<< |< 1 2 >| >> 13 Einträge, 2 Seiten
zieglerch
 2006-04-26 12:53
#34344 #34344
User since
2006-04-26
23 Artikel
BenutzerIn
[default_avatar]
hallo zusammen,

ich bin ich ein perlanfänger habe eine woche perl grundkurs hinter mir und soll jetzt
ein kleines projekt in unserer firma übernehmen. wir haben einen fileserver der mit
einem shell script einmal pro tag abgefragt wird welches verzeichnis wieviel speicherplatz
verbraucht. das wurde bis jetzt in excel eingetragen und eine auswertung erzeugt.
mitlerweile ist das aber so viel (ca. 2000 verzeichnisse) das es in excel einfach nicht
mehr zu handhaben ist. weiter unten steht der inhalt der täglichen reports bzw.
noch weiter unten wie die daten pro tag aussehen. nun ich muss jetzt jeden tag die neu
erstellte datei auslesen und die folgenden werte in eine datenbank schreiben, damit ich
irgendwann eine auswertung machen kann wie sich ein verzeichnis oder filesystem auf/in
der zeiteachse entwickelt hat, also angewachsen ist?

nun zu meinem problem mit datenbanken habe ich noch nicht wirklich viel gemacht.
welche datenbank soll ich nehmen? am besten eine freie/kostenlose datenbank.
wie lese ich meine werte jeden tag aus und bringe sie in die datenbank?
wie erzeuge ich dann reports damit ich auswertungen machen kann über die zeit?

für jede hilfe wäre ich sehr dankbar, bin voll ins kalte wasser geschmissen worden :-)


[AUSZUG AUS DEM TÄGLICHEN REPORT]

filesystem;server incl. verzeichnis;1;belegter speicherplatz;0;max. eingestellter speicher;anzahl der dateien;0;0;0;

fs_group01;server_3:/fs_group01/group01/Einkauf ();1;42653288;0;48000000;84294;0;0;0;
fs_group01;server_3:/fs_group01/group01/Controlling ();3;32939200;0;37000000;43991;0;0;0;
fs_group01;server_3:/fs_group01/group01/Dokument ();4;18421104;0;25000000;94127;0;0;0;
fs_group01;server_3:/fs_group01/group01/Bankkontoauszuege ();5;15826080;0;19000000;402448;0;0;0;
fs_group01;server_3:/fs_group01/group01/Fotos ();6;13451120;0;15000000;64282;0;0;0;
fs_group01;server_3:/fs_group01/group01/AlteIntranet ();7;4573632;0;5000000;7378;0;0;0;
fs_group01;server_3:/fs_group01/group01/Jeder ();8;808712;0;5000000;303;0;0;0;
fs_group01;server_3:/fs_group01/group01/Shared ();9;6983200;0;7000000;15751;0;0;0;


[So schauen die dateien aus, für jeden tag eine]
11.04.2006 23:20 163.974 20060411.txt
12.04.2006 23:20 163.981 20060412.txt
13.04.2006 23:20 164.069 20060413.txt
14.04.2006 23:20 164.069 20060414.txt
15.04.2006 23:18 164.069 20060415.txt
16.04.2006 23:18 164.069 20060416.txt
17.04.2006 23:20 164.068 20060417.txt
18.04.2006 23:20 164.084 20060418.txt
19.04.2006 23:20 164.080 20060419.txt
20.04.2006 23:20 163.993 20060420.txt
21.04.2006 23:20 164.136 20060421.txt
22.04.2006 23:18 164.136 20060422.txt
23.04.2006 23:18 164.136 20060423.txt
24.04.2006 23:20 164.207 20060424.txt
25.04.2006 23:20 164.502 20060425.txt

gruß
zieglerch
renee
 2006-04-26 13:12
#34345 #34345
User since
2003-08-04
14371 Artikel
ModeratorIn
[Homepage] [default_avatar]
Also als Datenbankmanagementsystem kannst Du MySQL oder PostgreSQL. Die dürften für Deine Aufgabe mehr als ausreichend sein.

Um mit der Datenbank von Perl aus zu arbeiten, empfiehlt es sich, mit CPAN:DBI zu arbeiten. Ich habe mal ein kleines Tutorial dazu geschrieben.

Da Du als Grundlage eine CSV-Datei hast, kannst Du mit CPAN:DBI und CPAN:DBD-CSV die Daten auslesen und die gewonnen Informationen in die Datenbank speichern.
OTRS-Erweiterungen (http://feature-addons.de/)
Frankfurt Perlmongers (http://frankfurt.pm/)
--

Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
Perl-Entwicklung: http://perl-services.de/
MartinR
 2006-04-27 08:59
#34346 #34346
User since
2004-06-17
305 Artikel
BenutzerIn
[default_avatar]
[quote=zieglerch,26.04.2006, 10:53]wie lese ich meine werte jeden tag aus und bringe sie in die datenbank?[/quote]
Moin,

und auf SQL-Ebene schaust Du Dir z.B. "LOAD DATA INFILE" an. Damit kannst Du den Inhalt der Datei auf einen Rutsch in die DB übernehmen.

Code: (dl )
1
2
3
LOAD DATA INFILE 'dein_file' 
INTO TABLE deine_tabelle
FIELDS TERMINATED BY '\;'
bloonix
 2006-04-27 10:02
#34347 #34347
User since
2005-12-17
1615 Artikel
HausmeisterIn
[Homepage]
user image
[quote=zieglerch,26.04.2006, 10:53]welche datenbank soll ich nehmen? am besten eine freie/kostenlose datenbank.[/quote]
Bis zu einem Limit von 4 GB ist eine Oracle-Datenbank auch
kostenlos. Zum Laden von Daten direkt aus Textdateien gibt
es den SQL-Loader von Oracle für Oracle.

Wenn es jedoch mehr als 4 GB werden, sollte ein anderes
Datenbanksystem genutzt werden, denn dann kann es richtig
teuer werden.

[quote=zieglerch,26.04.2006, 10:53]damit ich irgendwann eine auswertung machen kann wie sich ein verzeichnis oder filesystem auf/in
der zeiteachse entwickelt hat, also angewachsen ist?[/quote]
CPAN:GD::Graph\n\n

<!--EDIT|opi|1146117922-->
What is a good module? That's hard to say.
What is good code? That's also hard to say.
One man's Thing of Beauty is another's man's Evil Hack.
zieglerch
 2006-04-27 12:00
#34348 #34348
User since
2006-04-26
23 Artikel
BenutzerIn
[default_avatar]
hallo,

also als datenbank werde ich eine my-sql datenbank nehmen.
wie ich die datenbank dann erst noch herrichten muss das die datenbankstruktur passt muss ich erst noch nachlesen...
kennt jemand eine gute kostenlose doku wie man eine my-sql datenbank und deren tabellen einrichtet?\n\n

<!--EDIT|zieglerch|1146124918-->
renee
 2006-04-27 13:05
#34349 #34349
User since
2003-08-04
14371 Artikel
ModeratorIn
[Homepage] [default_avatar]
Vielleicht hilft Dir:http://www.little-idiot.de/mysql/mysql-154.html und http://www.devshed.com/c/a/MySQL/Beginning-MySQL-Tutorial/2/ und natürlich http://dev.mysql.com/doc/mysql/de/Tutorial.html weiter...\n\n

<!--EDIT|renee|1146128744-->
OTRS-Erweiterungen (http://feature-addons.de/)
Frankfurt Perlmongers (http://frankfurt.pm/)
--

Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
Perl-Entwicklung: http://perl-services.de/
nepos
 2006-04-27 15:55
#34350 #34350
User since
2005-08-17
1420 Artikel
BenutzerIn
[Homepage] [default_avatar]
Wenn du mit MySQL arbeitest, solltest du dir eventuell auch gleich phpmyadmin installieren. Damit kannst du dann recht komfortabel via Weboberflaeche mit der Datenbank arbeiten. Das vereinfacht so manches ;)
bloonix
 2006-04-27 16:12
#34351 #34351
User since
2005-12-17
1615 Artikel
HausmeisterIn
[Homepage]
user image
[quote=nepos,27.04.2006, 13:55]Wenn du mit MySQL arbeitest, solltest du dir eventuell auch gleich phpmyadmin installieren. Damit kannst du dann recht komfortabel via Weboberflaeche mit der Datenbank arbeiten. Das vereinfacht so manches ;)[/quote]
gibt es auch sowas auch in perl?
What is a good module? That's hard to say.
What is good code? That's also hard to say.
One man's Thing of Beauty is another's man's Evil Hack.
GwenDragon
 2006-04-27 18:30
#34352 #34352
User since
2005-01-17
14748 Artikel
Admin1
[Homepage]
user image
[quote=opi,27.04.2006, 14:12][quote=nepos,27.04.2006, 13:55]Wenn du mit MySQL arbeitest, solltest du dir eventuell auch gleich phpmyadmin installieren. Damit kannst du dann recht komfortabel via Weboberflaeche mit der Datenbank arbeiten. Das vereinfacht so manches ;)[/quote]
gibt es auch sowas auch in perl?[/quote]
Nicht in dem großen Funktionsumfang.
PerlMyadmin
nepos
 2006-04-27 18:32
#34353 #34353
User since
2005-08-17
1420 Artikel
BenutzerIn
[Homepage] [default_avatar]
In Perl kenne ich da leider nichts vergleichbares :(
Es gibt da auch noch andere Tools, die ganz ohne Webserver auskommen, z.B. das hier MySQL Administrator.
Ist denke ich grade fuer jemanden, der sich noch nicht so gut auskennt eine gute Hilfe, grade was Dinge wie das Anlegen von Tabellen und auch die Nutzerverwaltung angeht.\n\n

<!--EDIT|nepos|1146148395-->
<< |< 1 2 >| >> 13 Einträge, 2 Seiten



View all threads created 2006-04-26 12:53.