File sortieren (Allgemeines zu Perl)

[thread]19751[/thread]

File sortieren

Tags: perl5 Ähnliche Threads

Leser: 15

Articles: hide open all | hide show old branches

+14 replies

Gast Henri

2015-08-05 13:40

Hallo Leute,
ich benötige noch einmal ihre Hilfe, ich habe hier ein Code der leider nicht gut lauft, ich möchte meine DATA.csv spalten, so dass am Ende bekomme ich nur die spalte mit "false" oben.

Code (perl): (dl )

#!/usr/bin/env perl

use strict;
use warnings;
use feature qw(say);

my $ts = <DATA>;

my @flags = (true=> (<DATA> =~ /(false|true)/g));
my @header = (<DATA> =~ /([a-z_]+)/g);

use YAML::XS;
print Dump \@header, \@flags;

my @selected = grep $flags[ $_ ] eq 'false', 0 .. $#flags;

my %output_fh;
for my $i (@selected) {
    my $fname = "file$i";
    open my $fh, '>', $fname
        or die "Cannot open '$fname' for writing: $!";
    say $fh $header[$i];
    $output_fh{$i} = $fh;
}

while (my $line = <DATA>) {
    next unless $line =~ /\S/;
    # next if $line =~ /^false/;

    my @cols = split qr{ , }x, $line;
    for my $i (@selected) {
        say { $output_fh{$i} } join(q{ : }, $cols[0], $cols[$i]);
    }
}

Code: (dl )

------------------------------------DATA.csv-----------------------------------------------

            2015.07.23  16:47:23
                          false,    false,       true,      false,    true,    false,
                  defau,  ame_a,    ame_m,       ame_uc,     ame_f,    ams_l,  en_affi,
            true  DPA01,  fault,    fault,       fault,      fault,    fault,      1,
            false DPA02,       ,         ,            ,           ,    fault,      1,
            false DPA03,  fault,    fault,         olt,      fault,    fault,      1,
            false DPA01,  fault,       at,       fault,          2,    fault,      1,

ich möchte gern am Ende, so eine Ausgabe bekommen:

Code: (dl )

---------------------------------ame_a-----------------------------------
ame_a,   
fault,    
     ,     
fault,    
fault,

Code: (dl )

------------------------------ame_m-------------------------------------
ame_m,   
fault,    
     ,     
fault,    
   at,

Code: (dl )

----------------------------------ame_f-----------------------------------
ame_f,   
fault,    
     ,     
fault,    
    2,

Code: (dl )

--------------------------------en_affi----------------------------------
en_affi,   
      1,    
      1,     
      1,    
      1,

Last edited: 2015-08-05 13:41:50 +0200 (CEST)

+3 replies
hlubenow

2015-08-05 18:56

User since
2009-02-22
885 Artikel
BenutzerIn

Zeig' mal, wie Du das mit split() machen würdest.
- +2 replies
- Gast Henri
  
  2015-08-05 19:26
  
  hi hlubenow,
  ich verstehe nicht was du damit meinst? oben hast du doch mein code
  Last edited: 2015-08-05 19:33:04 +0200 (CEST)
  - hlubenow
    
    2015-08-06 01:17
    
    User since
    2009-02-22
    885 Artikel
    BenutzerIn
    
    Du sollst es programmieren, nicht ich.
    
    Wir geben Dir Denkhilfe, damit Du es selbst machen kannst, wir machen hier nicht Deine Arbeit (wenn ich die Forumspolitik richtig verstehe).
+10 replies

Linuxer

2015-08-05 23:08

User since
2006-01-27
3891 Artikel
HausmeisterIn

user image

Schön, so hatte ich mir das letztens gewünscht ;-)

Wenn Du den Teil

Code: (dl )

                       
                  defau
            true  DPA01
            false DPA02
            false DPA03
            false DPA01

nicht in Deiner Ausgabe haben willst, dann lass ihn doch bei der Ausgabe weg?
Warum gibst Du $cols[0] aus, wenn Du es nicht haben willst?
Übrig bliebe ein join{ : }, $cols[i]; wobei ein join() für ein Element keinen Sinn mehr ergibt.
Also lass das join { : }, auch weg, bleibt also übrig:

Code (perl): (dl )

1
2

# Zeile 32
say { $output_fh{$i} } $cols[$i];

Damit bekomme ich

Code: (dl )

# Kommandozeile; Ausgabedateien kontrollieren
$ for x in file?; do echo "--- $x ------"; cat $x; echo; done

--- file1 ------
ame_a
  fault
       
  fault
  fault

--- file2 ------
ame_m
    fault
         
    fault
       at

--- file4 ------
ame_f
      fault
           
      fault
          2

--- file6 ------
en_affi
      1
      1
      1
      1

Das sieht mir doch gar nicht so schlecht aus, oder?

Wenn Du jeweils noch das Komma am Ende der Zeile haben willst, füge das Komma an das say() noch an:

Code (perl): (dl )

1
2

# Zeile 32
say { $output_fh{$i} } $cols[$i], ",";

Wenn die Dateien nicht fileX, fileY, ... heißen sollen, sondern den Spaltennamen als Namen kriegen sollen, dann verwende ihn halt in Zeile 19:

Code (perl): (dl )

1
2

# Zeile 19
my $fname = $header[$i];

Damit kommt:

Code: (dl )

# Kommandozeile; Ausgabedateien kontrollieren
$ for x in *_* ; do echo "--- $x ------"; cat $x; echo; done
--- ame_a ------
ame_a
  fault,
       ,
  fault,
  fault,

--- ame_f ------
ame_f
      fault,
           ,
      fault,
          2,

--- ame_m ------
ame_m
    fault,
         ,
    fault,
       at,

--- en_affi ------
en_affi
      1,
      1,
      1,
      1,

PS: Das Format der DATA.csv sieht mir aus nach einer Mischung von CSV (komma-separierte Werte) und Datensätze mit fixer Länge. Kann da evtl. an der Datenquelle nachgebessert werden, um eine bessere Datengrundlage zu bekommen?

Dass die Kopfzeilen (Flags und Header) unterschiedliche Anzahl von Feldern haben, macht die Sache nur komplizierter.

Wenn das evtl. Daten fixer Länge sind, Dann könnte man dass auch mit unpack() einlesen.

Wenn die Daten doch "CSV" sind, aber die Leerzeichen am Beginn der Datenfelder keine Relevanz haben, könnte man sie über ein anderes split-Pattern gleich "entsorgen".

Mit

Code (perl): (dl )

1
2

# Zeile 30
my @cols = split qr{ ,\s* }x, $line;

ergibt es dann:

Code: (dl )

# Kommandozeile; Ausgabedateien kontrollieren
$ for x in *_* ; do echo "--- $x ------"; cat $x; echo; done
--- ame_a ------
ame_a
fault,
,
fault,
fault,

--- ame_f ------
ame_f
fault,
,
fault,
2,

--- ame_m ------
ame_m
fault,
,
fault,
at,

--- en_affi ------
en_affi
1,
1,
1,
1,

meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!

+9 replies

Gast Henri

2015-08-06 11:20

Hi Lunixer,
Danke für deine Anmerkungen, leider wollen sie nicht dass man das Data anpasst, sie sagen es wird immer so aussehen, sie haben keine Lust jedes mal es anzupassen, wenn sie Informationen von dem Data bekommen möchten. Auf jeden Fall funtioniert schon mit deiner Mithilfe, muss ich noch paare Sache in meinem Skript ändern, weil noch eine komische Fehlermeldung bekommen.
Vielen vielen Dank
Last edited: 2015-08-06 12:03:15 +0200 (CEST)

+8 replies

Gast Henri

2015-08-06 15:28

Warum schneidet er mir die Filenamen
Zu habe ich file die so genannt wird: ie5_old_multicast_mapping
er schickt mir nur als filename ie
Last edited: 2015-08-06 15:44:29 +0200 (CEST)

+7 replies

Gast Henri

2015-08-06 21:20

Als allgemeine Frage für meine eigene Forschung

ich möchte mich beschätigen, und jetzt möchte ich alle zeile mit "false" haben.

Code: (dl )

------------------------------------DATA.csv---------------------------------

            2015.07.23  16:47:23
                          false,    false,       true,      false,    true,    false,
                  defau,  ame_a,    ame_m,       ame_uc,     ame_f,    ams_l,  en_affi,
            true  DPA01,  fault,    fault,       fault,      fault,    fault,      1,
            false DPA02,       ,         ,            ,           ,    fault,      1,
            true  DPA03,  fault,    fault,         olt,      fault,    fault,      1,
            false DPA01,  fault,       at,       fault,          2,    fault,      1,
            false DPA02,       ,         ,            ,           ,    fault,      1,
            true  DPA03,  fault,    fault,         olt,      fault,    fault,      1,

output:

Code: (dl )

DPA02,       ,         ,            ,           ,    fault,      1,

Code: (dl )

DPA01,  fault,       at,       fault,          2,    fault,      1,

Code: (dl )

DPA02,       ,         ,            ,           ,    fault,      1,

Last edited: 2015-08-06 21:26:31 +0200 (CEST)

+6 replies

hlubenow

2015-08-06 23:06

User since
2009-02-22
885 Artikel
BenutzerIn
[default_avatar]

Guest Henri
Als allgemeine Frage für meine eigene Forschung

ich möchte mich beschätigen, und jetzt möchte ich alle zeile mit "false" haben.

Dafür gibt's die Funktion "grep()". Zeige bitte, wie Du sie anwendest.

+5 replies

Gast Henri

2015-08-07 00:23

so habe ich begonnen, wie findest du hlubenow? bin ich auf dem Weg?

Code (perl): (dl )

   #!/usr/bin/perl
    use strict;
    use warnings;
    use autodie;
    use List::Util 'any';
     
    my $input_file = 'DATA.csv';
    my (@headers, %docs);
    my $n = 0;
    my @docs;

          
    open my $fh, '>',"fh.csv";
        
    open(my $Fhresult, '<', $input_file);
    while (<$Fhresult> ) {      
     last if (/^\d+\s+\d{2}:\d{2}:\d{2}\s*$/); 
    }
    while (<$Fhresult> ) { 
     if ($. == 3) {          
       chomp;
       
       @headers = split ( /[ ,. ;:\(\)\/\*\"]+/ );  

       next; 
     }
     next unless /\S/;
     chomp;
         
    my ($file, @fields) = split /\s*,\s*|\s+/;  
    push @docs, {'file'=>$file, 'fields'=>\@fields} if any { $_ eq 'false' } @fields;
}

close($Fhresult);

Last edited: 2015-08-07 08:58:01 +0200 (CEST)

+4 replies
hlubenow

2015-08-07 17:32
User since
2009-02-22
885 Artikel
BenutzerIn
Du wolltest ja nur die Zeilen mit "false" haben, daher dachte ich eher an sowas:
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

#!/usr/bin/perl use warnings; use strict; my @a = <DATA>; my @b = grep(/false/, @a); chomp(@b); for (my $i=0; $i <= $#b; $i++) { print $i + 1; print ". "; print "$b[$i]\n"; } __DATA__ 2015.07.23 16:47:23 false, false, true, false, true, false, defau, ame_a, ame_m, ame_uc, ame_f, ams_l, en_affi, true DPA01, fault, fault, fault, fault, fault, 1, false DPA02, , , , , fault, 1, true DPA03, fault, fault, olt, fault, fault, 1, false DPA01, fault, at, fault, 2, fault, 1, false DPA02, , , , , fault, 1, true DPA03, fault, fault, olt, fault, fault, 1,
- +3 replies
- Gast Henri
  
  2015-08-07 23:47
  
  ja habe heute keine Zeit gehabt um etwas über mein skript weiter zu schrieben,
  sagt mal hlubenow, kannst du bitte mir mal nur sagen , ob ich ein bisschen auf dem weg bin, wenn du dir diesen Anfang anschauen?
  
  Ja, deine lösung ist sicherlich korrekt, du bist schon ein Profi, habe ich schon viele von dir hier gelesen.
  Last edited: 2015-08-08 00:33:35 +0200 (CEST)
  - +2 replies
  - hlubenow
    
    2015-08-08 01:25
    
    User since
    2009-02-22
    885 Artikel
    BenutzerIn
    
    Guest Henri
    sagt mal hlubenow, kannst du bitte mir mal nur sagen , ob ich ein bisschen auf dem weg bin, wenn du dir diesen Anfang anschauen?
    
    Na ja, ich denke, vielleicht würde es Dir helfen, das Problem, das Du lösen willst, stärker zu isolieren und einzugrenzen. Am besten es auch außerhalb eines großen Skripts bearbeiten. Wie sehen die Daten aus, wenn sie hereinkommen und wie soll das Skript sie verändern, damit am Ende das Ergebnis herauskommt, das Du haben möchtest?
    
    Meistens braucht man für die reine Datenverarbeitung auch gar keine Module. Versuche, das Einzelproblem zu isolieren und die Datenverarbeitung in einem kleinen Skript ohne Module zu schreiben. Wenn das läuft, kannst Du am Ende den Code in das große Skript implementieren.
    Es ist nicht zuletzt auch im Forum leichter, wenn Du nur das Einzelproblem beschreibst. Dein Gesamtskript können wir hier nicht überblicken.
    
    Guest Henri
    Ja, deine lösung ist sicherlich korrekt, du bist schon ein Profi, habe ich schon viele von dir hier gelesen.
    
    Oh, danke, aber ich bin nicht direkt vom Fach, ich hab' was anderes studiert. Programmieren ist nur ein Hobby von mir.
    - Gast Henri
      
      2015-08-10 13:54
      
      Danke, für den Rat, eingentlich möchte ich meine Data bearbeiten, so dass am Ende bekomme ich einzele Zeile mit "false" auf einem Datei.
      
      Ehrlich gesagt bist du doch einfach ein Kluger Mensch. ich gratuliere.
      ich hätte mehr gedacht , dass du in der Entwicklung arbeitest.
      Last edited: 2015-08-10 13:55:46 +0200 (CEST)

View all threads created 2015-08-05 13:40.