search & replace in Textfile (Allgemeines zu Perl)

[thread]15664[/thread]

search & replace in Textfile

Leser: 26

Articles: hide open all | hide show old branches

+16 replies
Gast futhark

2010-11-23 18:31
Hallo

ich habe eine Frage zum Standardproblem in Perl: "search and replace" in einem Text File. Und zwar will ich zB einen Wert in der inittab statt ro in rw umgestellt haben. Ich habe mir ein pattern gebastelt nur ist mein Ansatz sehr lang geworden.

In der Bash kann ich in etwa folgendes schreiben:
Code (perl): (dl )

sed -i -e 's/remount,ro,noatime/remount,rw,noatime/g' ${PATH}/etc/inittab
Ich habe auch schon gesehn, dass es in Perl sowas wie folgendes gibt
Code (perl): (dl )

/usr/bin/perl -p -i -e "s/remount,ro,noatime/remount,rw,noatime/g" ${PATH}/etc/inittab
Nur in Perl selber, hab ich jetzt auf bloed einfach mal dasselbe versucht, aber es klappt irgendwie nicht:
Code (perl): (dl )

s/remount,ro,noatime/remount,rw,noatime/g ${PATH}/etc/inittab
Hier bekomme ich wueste Errors: String found where operator expected...
Was mache ich falsch? Gibt es einen Weg diesen praktischen Einzeiler in Perl zu nutzen ohne mit Ticks auf die Bash auszuweichen? Wie uebersetze ich diese -p -i und -e in ein perl script?
Last edited: 2010-11-23 18:32:37 +0100 (CET)
- +15 replies
- ich
  
  2010-11-23 19:35
  User since
  2003-09-19
  120 Artikel
  BenutzerIn
  Hallo,
  
  Code: (dl )
  
  1 2 3 4 5
  
  jan@syrr:~$ perl -h -e program one line of program (several -e's allowed, omit programfile) -i[extension] edit <> files in place (makes backup if extension supplied) -p assume loop like -n but print line also, like sed -n assume "while (<>) { ... }" loop around program
  
  Das ganze als Perlscript waere dann ungefaehr sowas:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12
  
  my ($in, $out); open($in, "<", "/etc/inittab") or die($!); open($out, ">", "/etc/inittab.new") or die($!); while(my $line = <$in>) { chomp $line; $line =~ s/remount,ro,noatime/remount,rw,noatime/g; print $out $line . "\n"; } close($out); close($in); rename("/etc/inittab.new", "/etc/inittab");
  
  Edit meint:
  man sollte nicht mehrere sachen gleichzeitig machen...
  Last edited: 2010-11-23 19:36:39 +0100 (CET)
  If you tell the truth you don't have to remember anything.
  -- Mark Twain
  - +14 replies
  - Gast futhark
    
    2010-11-23 20:03
    
    ..eben, sowas in der Art hatte ich mir selber auch zusammengeschnitzt, die Flags hab ich auch in der Doku nachgelesen. Aber ich dachte es gaebe etwas in der Art "Einzeiler" dann auch im Perl-Script, also ohne /usr/bin/perl in Ticks zu setzen, oder gleich sed zu nehmen. Schade.
    Last edited: 2010-11-23 20:04:23 +0100 (CET)
    - topeg
      
      2010-11-23 22:04
      
      User since
      2006-07-10
      2611 Artikel
      BenutzerIn
      
      Sicher geht das kürzer, ist nur kein schönes Perl:
      
      Code (perl): (dl )
      
      1 2 3 4 5
      
      #!/usr/bin/perl my $file=shift || "/etc/inittab"; (@ARGV,$/)=($file); $_=<>; s/remount,ro,noatime/remount,rw,noatime/g; open(STDOUT, '>', $file); print;
    - +12 replies
    - pq
      
      2010-11-24 00:34
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      man kann das, was die option -i macht, auch im script setzen. das wäre dann als kurzes beispiel:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6
      
      $^I = ""; while (<ARGV>) { s/vorher/nachher/; print; } # aufruf: perl script.pl dateiname
      
      indem man $^I auf einen definerten wert setzt, wird automatisch inplace-edit aktiviert. (bei einem wert ungleich dem leerstring wird dieser als suffix für eine backup-datei benutzt.)
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - +11 replies
      - topeg
        
        2010-11-24 02:34
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        Dann kann man es auch so schreiben:
        
        Code (perl): (dl )
        
        1 2 3 4
        
        ($^I,$/) = (""); $_=<>; s/vorher/nachher/g; print;
        
        Damit hat noch ein paar Zeichen gespart. ;-)
        
        +10 replies
        
        Gast futhark
        
        2010-11-26 13:21
        
        Danke fuer die Antworten und Ansaetze!!!
        
        sed scheint mir trotzdem kuerzer (duck!) ;-)
        Gibt es eigentlich Probleme beim "mischen" von Bash und Perl?
        
        Ich meine, beim momentanen Script ist absehbar, dass es nie woanders laufen wird, als auf der Maschine, d.h. Linunx+Bash immer vorhanden sein wird.
        Last edited: 2010-11-26 13:24:17 +0100 (CET)
        
        +9 replies
        
        pq
        
        2010-11-26 13:30
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        Guest futhark
        sed scheint mir trotzdem kuerzer (duck!) ;-)
        
        nicht ganz fair, der vergleich.
        sed rufst du ohne pfad auf, perl mit absolutem pfad.
        ausserdem kann man die kommandozeilen-optionen zusammenfassen:
        statt
        /usr/bin/perl -p -i -e
        perl -pi -e
        das ist dann im vergleich zu
        sed -i -e
        nur noch zwei buchstaben länger, und einer davon kommt vom programmnamen.
        ansonsten sind die beiden doch gleich, oder?
        
        ausserdem fragtest du, wie man die kommandozeilen-version mit -i und -p in ein skript bringt, und jetzt sagst du, sed wäre kürzer. fragst also, wie mache ich es länger, und sagst dann, es ist ja länger. das verstehe ich nicht so ganz.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        +8 replies
        
        Gast futhark
        
        2010-11-26 20:13
        
        Hallo,
        
        Stimmt mir ging es v.a. um die Frage, kann ich obige Parameter, beim Aufruf des Perl, auch in der Sprache Perl so kurz und knapp loesen. Das geht anscheinend nicht. Schade, aber nicht weiter schlimm, finde ich. Ich mische bei meinen Scripten manchmal sehr viel Bash und Perl, und weiss nicht ob man das eigentlich nicht tun soll, wie zB C und C++ wild zu mischen. Bei Perl funktioniert es prima fuer mich und bei sowas ziehe ich dann halt den einzeiler "sed" (oder Perl mit Flags) vor, anstatt eben per open und close zu hantieren.
        
        Ehrlich gesagt, ob ich
        
        Code: (dl )
        
        `perl -pi -e`
        
        oder
        
        Code: (dl )
        
        `sed -i -e`
        
        aufrufe, macht fuer hoechstens noch einen patriotischen Unterschied und ich meinte nicht, das sed da kuerzer sei (was es zufaellig sogar ist), lol. Aber, das Perl s/// bietet auch mehr Moeglichkeiten als ein einfaches sed an.
        Last edited: 2010-11-26 20:18:19 +0100 (CET)
        
        +7 replies
        
        topeg
        
        2010-11-26 20:42
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        das verwenden von mehrere Sprachen und Tools Erschwert die Portierung auf andere Systeme. Außerdem wird die Abarbeitung langsam, da jeder Aufruf eines Programms über den Kernel geht und dabei einiges an Daten kopiert werden müssen. Weiterhin leidet die Übersichtlichkeit. Bei komplexeren Aufgaben kann es auch zu Problemen beim kopieren von Datenstrukturen kommen.
        Zudem finde ich es schwer geistig ständig zwischen verschiedenen Programmiersprachen zu wechseln.
        Ich finde es angenehmer alles in perl zu schreiben und nur in Ausnahmefällen andere Programme/Sprachen auf zu rufen.
        
        +6 replies
        
        Gast futhark
        
        2010-11-29 13:36
        
        Hallo, danke fuer den Beitrag.
        Ich finde diese Ansichten immer interessanter. Bisher mache ich es so, bei rel. "kleinen" Scripten, versuche ich es wegen eben gerade der Uebersichtlichkeit moeglichst kurz zu fassen. Klein wuerde ich hier am liebsten auf vllt 50 bis 100 Zeilen definieren, ich wende das Prinzip aber auch bis zu 200 Zeilen an, was ich immer noch als sehr klein empfinde.
        
        Erschwert die Portierung - ok, ich portiere nicht
        wird die Abarbeitung langsam - ok, das ist mir hier egal
        leidet die Übersichtlichkeit - ok, s.o. der Umfang ist sehr kurz
        Problemen beim kopieren von Datenstrukturen - das ist interessant, koenntest Du mir das vllt etwas naeher erklaeren?
        
        Quote
        Zudem finde ich es schwer geistig ständig zwischen verschiedenen Programmiersprachen zu wechseln.
        
        Das mag sein, aber man gewoehnt sich da auch dran, letztendlich handelt es sich nicht um komplete "Bashroutingen" in Perl, sondern um immer die ca. 5 gleichen Bashbefehle, die einfach kuerzer sind. Ich mische das auch nicht mit "mal-perl-mal-bash", sondern ziehe das konsequent durch. Ich bin extrem begeistert von Perl und den Kenzepten, aber gebe zu, dass ich in Perl nur oberflaechliche Kenntnisse habe, gerade deshalb hoere ich gerne Meinungen zu diesem Vorgehn.
        
        Last edited: 2010-11-29 14:03:18 +0100 (CET)
        
        +5 replies
        
        topeg
        
        2010-11-29 20:09
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        Ich arbeite häufig mit verschachtelten Arrays und Hashes. (Mit einer gut durchdachten Datenstruktur kann man sich eine Menge Arbeit ersparen.) Solche Strukturen mit Bash-aufrufen zu Filter/Verarbeiten ist eine Qual, da Bash so was nicht kennt und man mit Trennzeichen und ähnlichem darum herum operieren muss.
        
        Mir ist die Kürze nicht so wichtig ob es 100 oder 500 Zeilen ist ist mir egal. Ich habe auch mal so gedacht und alles möglichst kurz gehalten. Aber nach einer weile merkt man dass es durch aus nicht der Übersichtlichkeit dient. Wenn ich "wegwerf"-Scripte (Scripte mit begrenztem Einsatzzeitraum) schreibe, dann schreibe auch so was auch stenographisch, aber wenn es länger leben soll, dann achte ich auf den Stiel, denn andere sollen das irgendwann auch mal lesen können.
        
        ich sehe keinen großen unterschied in:
        
        Code: (dl )
        
        system("sed -i -e 's/remount,ro,noatime/remount,rw,noatime/g' ${PATH}/etc/inittab") == 0 or die("Error replace failed! ($?)");
        
        und
        
        Code (perl): (dl )
        
        eval{local($^I,@ARGV,$/) = ("",${PATH}/etc/inittab); $_=<>; s/remount,ro,noatime/remount,rw,noatime/g; return 1} or die("replace failed ($@)");
        
        Aber wenn man etwas mehr Fehlerbehandlung haben will ist es so, meine ich, besser:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13
        
        sub replace_in_file { my $file=shift; my $regexp=shift; my $replace=shift; my $txt=eval{local(@ARGV,$/)=($file); <>} or die("ERROR Load $file ($@)\n"); $txt=~s/$regexp/&$replace/eg; open(my $fh, >, $file) or die("ERROR write $file ($!)") print $fh $txt; close($fh); } replace_in_file("${PATH}/etc/inittab",qr/remount,ro,noatime/,sub{return 'remount,rw,noatime'});
        
        Die Funktion kann man dann auch in ein Paket packen und am Anfang laden. Dann schreibt man sie nur einmal und alle korrekturen werden für alle scripte, die sie laden wirksam. Ich habe mittlerweile ein große Sammlung von Modulen.
        
        Da sieht ein script dann ungefähr so aus:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13
        
        #!/usr/bin/perl use strict; use warnings; use file_ops qw(load_or_die save_or_die); use text_ops qw(replace_simple); my $file="/etc/fstab"; my $txt=load_or_die($file); if(replace_simple(\$txt,'remount,ro,noatime','remount,rw,noatime')) { save_or_die($file,$txt); } else { print "Nothing Changed\n" }
        
        wobei hinter "replace_simple" kein echter regulärer Ausdruck steckt sondern eine Kombination aus "index" und "substr" das ist schneller :)
        
        +4 replies
        
        Gast futhark
        
        2010-11-30 10:50
        
        Ich habe es gestern auch noch einmal ueberdacht und stimme absolut zu, wenn ich wirklich ein Projekt gestalte und plane, schreibe ich solche Operationen, evtl. auch gleich direkt als Subroutinen mit demselben Namen wie auf der Bash, aber eben in Perl - so ein Klassiker ist zB 'basename' und 'dirname'. Und ein "Zeilengewinn" relativiert sich da auch sehr schnell. Andererseits, denke ich, reden wir hier wirklich von komplett unterschiedlichen Dimensionen. Ein Script der Art, "mache das, benenne alle diese Eintraege XY in YX um, und dann mache was anderes; selbe operation fuer diese Liste von Files" ist einfach sehr kurz, sodass ich es bisher auch direkt als Folge von Bash Befehlen geschrieben habe. Mittlerweile sehe ich immer mehr die riesigen Vorteile von Perl hier. Ich kann einfach mal eine Liste von etwas komplexeren Elementen anlegen ohne dazu gleich einen Wust an verschiedensten Arrays zu verwalten, wie auf der Bash, und dann bei jedem Positionen abzaehlen zu muessen oder aehnliches, wenn sich etwas aendert.
        
        Alles in allem, sehe ich, dass es vllt doch auch etwas Geschmacksache ist und es mehrere Wege zu geben scheint, anstatt wirklich etwas dabei "falsch" zu machen, wenn man beides mischt. Persoenlich denke ich, ein konsequentes Verhalten dabei ist sicherlich hilfreich, und "mischen" und "mischen" ist vllt auch noch ein Unterschied.
        Last edited: 2010-11-30 10:55:10 +0100 (CET)
        
        +3 replies
        
        topeg
        
        2010-11-30 11:12
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        Guest futhark
        auch gleich direkt als Subroutinen mit demselben Namen wie auf der Bash, aber eben in Perl - so ein Klassiker ist zB 'basename' und 'dirname'.
        
        Zu allem gibt es ein Modul:
        File::Basename
        File::Spec
        So was rudimentäres brauchst du nicht selber zu schreiben. Stöbern auf "cpan" lohnt sich :-)
        
        Guest futhark
        Andererseits, denke ich, reden wir hier wirklich von komplett unterschiedlichen Dimensionen. Ein Script der Art, "mache das, benenne alle diese Eintraege XY in YX um, und dann mache was anderes; selbe operation fuer diese Liste von Files" ist einfach sehr kurz, sodass ich es bisher auch direkt als Folge von Bash Befehlen geschrieben habe. Mittlerweile sehe ich immer mehr die riesigen Vorteile von Perl hier. Ich kann einfach mal eine Liste von etwas komplexeren Elementen anlegen ohne dazu gleich einen Wust an verschiedensten Arrays zu verwalten, wie auf der Bash, und dann bei jedem Positionen abzaehlen zu muessen oder aehnliches, wenn sich etwas aendert.
        
        Ab einer gewissen Komplexität macht es einfach Sinn eine umfangreichere Sprache als ein Shell-Dialekt zu benutzen. Auch ich benutze für einfache Sachen die Shell, aber sobald es komplexer wird nutze ich lieber Perl.
        
        Guest futhark
        Alles in allem, sehe ich, dass es vllt doch auch etwas Geschmacksache ist und es mehrere Wege zu geben scheint, anstatt wirklich etwas dabei "falsch" zu machen, wenn man beides mischt. Persoenlich denke ich, ein konsequentes Verhalten dabei ist sicherlich hilfreich, und "mischen" und "mischen" ist vllt auch noch ein Unterschied.
        
        Alles was funktioniert ist Richtig. Da gibt es nur noch Abstufungen wie Richtig. :-)
        
        +2 replies
        
        Gast futhark
        
        2010-12-08 23:05
        
        Hallo topeg, danke Dir nochmal, und auch den anderen fuer all Eure Tipps, ich weiss sie sehr zu schaetzen!! Im obigen Fall bin ich leider nur etwas eingeschraenkt im Hinblick auf CPAN Pakete, sofern nicht schon vorhanden - ich kann/darf keine weiteren Pakete ins System installieren (-> embedded). Oft ist es daher leichter das Rad doch schnell mal neu zu erfinden fuer einen kurzen Quickfix. Ansonsten stimme ich zu!! ;-)
        Last edited: 2010-12-08 23:31:51 +0100 (CET)
        
        Dubu
        
        2010-12-09 00:39
        
        User since
        2003-08-04
        2145 Artikel
        ModeratorIn + EditorIn
        
        Ich hätte fast schon direkt etwas zu topegs Kommentar geschrieben, aber jetzt mache ich es doch noch:
        File::Basename und File::Spec sind Basispakete und bei perl dabei. Da muss man nichts von CPAN installieren.
        
        Evtl. lohnt sich im Allgemeinen - besonders, wenn man meint, Einschränkungen bei der Installation von Fremdpaketen zu haben - mal in perlmodlib hineinzuschauen, ob nicht ein passendes Paket schon mitgeliefert wird.

View all threads created 2010-11-23 18:31.