datenvergleich (Allgemeines zu Perl)

[thread]15321[/thread]

datenvergleich

Leser: 21

Articles: hide open all | hide show old branches

+5 replies

lukastonner

2010-07-28 12:00

User since
2010-02-07
47 Artikel
BenutzerIn
[default_avatar]

Hallo Community,
Ich habe folgendes Problem:
Die Qualität von Daten soll überprüft werden. Dafür sollen die Daten mit einem Refernzdatensatz verglichen werden und ein Qualitätsflag
(im Code QV) bekommen der sagt ob der jeweilige Wert "gut" oder "schlecht" ist. Die Daten liegen in einem 2 dim Feld vor und sind nach Zeit, Tiefe,
und Parameter aufgeteilt (Teil vom Code):

Code: (dl )

# Aufspalten der Parameter (Headerzeile) in Spalten
(@Cruise_Zeile) = split(/	/,$Cruise_Zeile_ges);
for ($i=0;$i<=$#Cruise_Zeile;$i++){
print $i," ",$Cruise_Zeile[$i],"\n";
}

#suchen der wichtigen Parameter (Tiefe, Datum, Wert)
for ($i=0;$i<=$#Cruise_Zeile;$i++) { if ($Cruise_Zeile[$i] =~ /Depth /) {last} }
$D_spalte=$i;  ##### TIEFE######
$D_QV=$D_spalte+1;  

# die Zeitspalte steht 2 Spalten vorher!
$Z_spalte=$D_spalte-2;  ######## DATUM/ZEIT (Format 2009-01-21T11:00:00) #########

# Suchen nach den Parametern
for ($i=$D_QV;$i<=$#Cruise_Zeile;$i++) { if ($Cruise_Zeile[$i] =~ /Temperature/) {$temp_index=$i;last} }
for ($i=$D_QV;$i<=$#Cruise_Zeile;$i++) { if ($Cruise_Zeile[$i] =~ /Salinity/)    {$sali_index=$i;last} }

# aus @aktzeile ein 2-dim Feld machen
foreach (@stationsdaten) {
       $zz=$_;
       @hilf = split(/	/,$zz);
       push(@aktzeile , [@hilf] );  
} 

######Zeitreihen fuer die einzelnen Parameter basteln
# TEMPERATUR

      for ($l=0;$l<=$#stationsdaten;$l++) {
        # die Zeitreihe der Temperaturen befindet sich in
	push(@zr_temp,$aktzeile[$l][$temp_index]);
	}

#  Schleife durch alle Parameter machen und die QVs setzen
#  aktzeile wird immer komplett mit reingegeben
	#                     ZEIT     TIEFE        WERT
	@QV_neu=sub_QC_temp($Z_spalte,$D_spalte,$temp_index);
	for ($l=0; $l<=$#stationsdaten; $l++) {$aktzeile[$l][$temp_index+1]=$QV_neu[$l]}; # neue QVs setzen

#  wegschreiben der Zeilen, 
#  vorher wurden die neuen QVs eingesetzt
        for ($i=0;$i<$#stationsdaten;$i++) {
	for ($l=0;$l<=$#Cruise_Zeile; $l++) {
                printf OUT_DATEI "%+s\t", $aktzeile[$i][$l];
        }
                printf OUT_DATEI "%+s\n", $aktzeile[$#stationsdaten][$#Cruise_Zeile]; 
}
close OUT_DATEI;
##########  ende MAIN   #################

#########EINLESEN DES REFERNZDATENSATZ und splitten nach Parameter (er liegt in folgender Struktur vor:)

#Param  Tiefe Monat      mean         N       Sigma       Min        Max
# TEMP;    2;  01;      4.18;      4235;      1.45;      0.73;      7.07
# TEMP;    2;  02;      2.70;      4056;      1.29;      0.14;      5.35
# TEMP;    2;  03;      2.40;      5135;      1.30;      0.19;      5.22
  	
open(EINGANG,'<'.$dest_dir.$filename  ) || die "can't open $filename: $!\n";

my ($bla, @klimatol);
while(<EINGANG>) {
	$bla++ if /^\s/;
	push @klimatol, $_ if $bla;
	}
print @klimatol, "\n";

my @datenz=();

foreach (@klimatol) {
chomp $_; $_=~ s/ //g;
         ($Param,$Tiefe,$Monat,$mean,$N,$sigma,$Min,$Max)=split(/;/);
          push(@datenz,join(';',$Param,$Tiefe,$Monat,$mean,$N,$sigma,$Min,$Max, "\n"));
         }

close EINGANG;

Ab hier hier komme ich nicht mehr weiter. Es soll der richtige Wert aus dem
Referenzdatensatz (Monat,Tiefe,Wert) gesucht werden und mit dem Messwert verglichen werden. Beispiel: Wenn der Wert, gemessen im Monat 1 (Januar) kleiner ist als 0.73 oder größer als 7.07 dann bekommt er einen bestimmten flag. Wie kann man aus dem Referenzdatensatz automatisch die richtige Werte
rauspicken (Tiefe, Monat, Min, Max)??????

Code: (dl )

### SubRoutines Qualitätsüberprüfung

sub sub_QC_temp {

my $zeit_index=$_[0];
my $tiefe_index=$_[1];
my $wert_index=$_[2];

@QV=();

# Beispiel  Temperatur 
for ($i=0;$i<=$#stationsdaten;$i++) { 
if ($aktzeile[$i][$temp_index] < !!!!!Min-Wert aus Referenzdatensatz || $aktzeile[$i][$temp_index] > !!!!!Max-Wert aus Referenzdatensatz ) { $QV[$i]=4 } else {$QV[$i]=2}
}
return @QV;
}

Vielen Dank schonmal im voraus

+2 replies
renee

2010-07-28 12:22

User since
2003-08-04
14371 Artikel
ModeratorIn

Um ehrlich zu sein, finde ich Deinen Code etwas verwirrend und die Beschreibung Deines Problems unvollständig.

Beschreibe einfach, wie die Daten aussehen, die Du Qualitätssichern sollst und nach welchen Kriterien die Min/Max-Werte aus dem Referenzdatensatz genommen werden sollen.
OTRS-Erweiterungen (http://feature-addons.de/)
Frankfurt Perlmongers (http://frankfurt.pm/)
--

Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
Perl-Entwicklung: http://perl-services.de/
- lukastonner
  
  2010-07-28 13:00
  User since
  2010-02-07
  47 Artikel
  BenutzerIn
  Ok. Also....
  Die Min/Max Werte im Referenzdatensatz sind pro Monat erfasst worden. Die Daten die ich bearbeite liegen in Stundenwerten vor (diese Struktur:)
  
  Code: (dl )
  
  1 2 3 4 5
  
  Zeit Tiefe Temperatur QV_Temp WertXXX QV_XXX 2009-04-21T01:00:00 2.0 7.160 2 2009-04-21T02:00:00 2.0 7.368 2 2009-04-21T01:00:00 10.0 5.120 2 2009-04-21T02:00:00 10.0 5.140 2
  
  Für das Beispiel oben müsste ich für den ersten Messwert das Min und Max für 2 Meter Tiefe für den Monat April aus dem Referenzdatensatz raussuchen.Der Tag und die Uhrzeit ist egal. Wichtig ist, dass ich für den bestimmten Monat und Tiefe die Min/Max Werte für den jeweiligen Parameter bekomme. Ich hoffe es ist etwas klarer geworden und Danke für die Antwort
+2 replies

2010-07-28 12:40

User since
2003-08-04
12209 Artikel
Admin1

ich konnte den code nicht lesen und hab einige vorsintflutliche konstrukte und sonstige sünden ausgemerzt.
inkonsequentes einrücken (mal sind schleifen auf derselben ebene eingerückt, manchmal nicht, hier werden tabs benutzt, dort spaces), c-style-for-loops, die im gegensatz zu perligen loops dermassen unlesbar sind, fehlende my() ergänzt, wo ich sie setzen konnte, ein paar lerzeichen zwischen kommata und gleichheitszeichen, damit man auch wirklich was erkennen kann (code wird um ein vielfaches mehr gelesen als geschrieben!), echte tabs in regexes durch \t ersetzt, sonst erkennt man ja gar nicht, ob es ein tab oder spaces sein sollen, zeilen über 80 zeichen verkürzt.

lies bitte unbedingt Perl Best Practices. Je früher desto besser. Ist wirklich gold wert.

Code: (dl )

# Aufspalten der Parameter (Headerzeile) in Spalten
my @Cruise_Zeile = split /\t/, $Cruise_Zeile_ges;
for my $i (0 .. $#Cruise_Zeile){
    print "$i $Cruise_Zeile[$i]\n";
}

#suchen der wichtigen Parameter (Tiefe, Datum, Wert)
my $D_spalte;
for my $i (0 .. $#Cruise_Zeile) {
    $D_spalte = $i, last if $Cruise_Zeile[$i] =~ /Depth /;
}

$D_QV = $D_spalte + 1;  

# die Zeitspalte steht 2 Spalten vorher!
$Z_spalte = $D_spalte - 2;  # DATUM/ZEIT (Format 2009-01-21T11:00:00) 

# Suchen nach den Parametern
for my $i ($D_QV .. $#Cruise_Zeile) {
    if ($Cruise_Zeile[$i] =~ /Temperature/) {
        $temp_index = $i;
        last;
    }
}
for my $i ($D_QV .. $#Cruise_Zeile) {
    if ($Cruise_Zeile[$i] =~ /Salinity/) {
        $sali_index = $i;
        last;
    }
}

# aus @aktzeile ein 2-dim Feld machen
foreach my $zz (@stationsdaten) {
   my @hilf = split /\t/, $zz;
   push @aktzeile, [@hilf];  
} 

# Zeitreihen fuer die einzelnen Parameter basteln
# TEMPERATUR

for my $l (0 .. $#stationsdaten) {
    # die Zeitreihe der Temperaturen befindet sich in
    push @zr_temp, $aktzeile[$l]->[$temp_index];
}

#  Schleife durch alle Parameter machen und die QVs setzen
#  aktzeile wird immer komplett mit reingegeben
#                     ZEIT     TIEFE        WERT
@QV_neu = sub_QC_temp($Z_spalte, $D_spalte, $temp_index);

for my $l (0 .. $#stationsdaten) {
    $aktzeile[$l]->[$temp_index+1] = $QV_neu[$l]
} # neue QVs setzen

#  wegschreiben der Zeilen, 
#  vorher wurden die neuen QVs eingesetzt
for my $i (0 .. $#stationsdaten - 1) {
    for my $l (0 .. $#Cruise_Zeile) {
        printf OUT_DATEI "%+s\t", $aktzeile[$i]->[$l];
    }
    printf OUT_DATEI "%+s\n", $aktzeile[$#stationsdaten]->[$#Cruise_Zeile];
}
close OUT_DATEI;
##########  ende MAIN

# EINLESEN DES REFERNZDATENSATZ und splitten nach Parameter
# (er liegt in folgender Struktur vor:)

#Param  Tiefe Monat      mean         N       Sigma       Min        Max
# TEMP;    2;  01;      4.18;      4235;      1.45;      0.73;      7.07
# TEMP;    2;  02;      2.70;      4056;      1.29;      0.14;      5.35
# TEMP;    2;  03;      2.40;      5135;      1.30;      0.19;      5.22
  	
open my $eingang, '<', $dest_dir.$filename or die "can't open $filename: $!\n";

my ($bla, @klimatol);
while (<$eingang>) {
    $bla++ if /^\s/;
    push @klimatol, $_ if $bla;
}
close $eingang;

print @klimatol, "\n";

my @datenz;

foreach (@klimatol) {
    chomp;
    $_=~ s/ //g;
    my ($Param, $Tiefe, $Monat, $mean, $N, $sigma, $Min, $Max) = split /;/;
    push @datenz, join ';',
        $Param, $Tiefe, $Monat, $mean, $N, $sigma, $Min, $Max, "\n";
}

das wäre vielleicht der erste schritt, so ein refactoring durchzuführen und dann erst weitere funktionalitat einzuführen.
Last edited: 2010-07-28 12:41:27 +0200 (CEST)

Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
lesen: Wiki:

Wie frage ich & perlintro Wiki:

brian's Leitfaden für jedes Perl-Problem

lukastonner

2010-07-28 13:07

User since
2010-02-07
47 Artikel
BenutzerIn

Danke für die Antwort. Habe den Code übernommen und möchte ihn weiter
bearbeiten (was ich gepostet habe ist ein Schnipsel vom Gesamtcode. Diesen komplett zu überarbeiten ist momentan zeitlich nicht möglich)......

View all threads created 2010-07-28 12:00.