escape und decode entities bei empfangenen Daten (Perl/CGI)

[thread]13245[/thread]

escape und decode entities bei empfangenen Daten

Leser: 18

Articles: hide open all | hide show old branches

+15 replies
Gast john

2009-03-17 12:12

Hi Leute,

ich empfangen mit CGI.pm über die url_param Funktion Parameter.
Nun möchte ich dort gefährliches entschärfen (Perl-Code usw). Ich glaube man nennt das escapen.
Es kommt jedoch noch hinzu, dass ein Parameter ein JSON String ist, der mit JSON decodiert wird, damit Perl damit umgehen kann.

Ich würde gerne zu Beginn des Scriptes alle Parameter entschärfen, bevor sie an die einzelnen Klassen übergeben werden.

Hat dazu jemand einen Ansatz? Es gibt ja HTML::Entity und Encode::Escape. Allerdings lassen die sich ja erstmal nur auf Strings anwenden und da komme ich bei dem JSON generierten Objekt nicht weit.

Bin für jede Hilfe dankbar
- +14 replies
- pq
  
  2009-03-17 12:19
  
  User since
  2003-08-04
  12209 Artikel
  Admin1
  
  im allgemeinen escaped man erst bei der ausgabe bzw. bei der benutzung. man kann ja vorher nicht wissen, was an einem string gefäehrlich ist.
  für html muss man <>&"' escapen, bei übergabe an die kommandozeile wiederum andere zeichen, und bei SQL womöglich nochmal andere zeichen.
  eine umwandlung von einem string in JSON sollte eigentlich auch nicht ungefragt irgendwelchen code ausführen. oder hast du ein konkretes beispiel?
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - +13 replies
  - Gast john
    
    2009-03-17 12:34
    Ein Beispiel, klar:
    
    Code (perl): (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
    
    Package main; my ($json); if($query->param('json')) { $json = new JSON->utf8(1)->decode($query->url_param('json')); } sub change_gal_name { my $gid = $json->{'gid'}; my $name = $json->{'newname'}; # ... }
    
    newname kann nun aber Zeichen wie öäüß usw behinhalten, welche in der Datenbank aber als ü usw gespeichert werden sollen. Daher möchte ich gleich zu Beginn alle in JSON gespeicherten Variablen eben so umwandeln.
    
    Ich habe es mit folgendem Ansatz verfolgt:
    
    Code (perl): (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27
    
    Package main; require HTML::Entities; my ($json,$json_cleared); if($query->param('json')) { $json = new JSON->utf8(1)->decode($query->url_param('json')); # html entity: while (my $json_key = keys %$json) { $json_cleared->{$json_key} = HTML::Entities::encode_entities($json->{$json_key}); } } sub change_gal_name { my $gid = $json_cleared->{'gid'}; my $name = $json_cleared->{'newname'}; # ... }
    
    Das endet allerdings nie und in meinem Errorlog hagelt es
    
    Code: (dl )
    
    Use of uninitialized value in substitution (s///) at /usr/lib/perl5/HTML/Entities.pm line 470
    
    Fehler
    - +12 replies
    - pq
      
      2009-03-17 12:38
      
      User since
      2003-08-04
      12209 Artikel
      Admin1
      
      Guest john
      newname kann nun aber Zeichen wie öäüß usw behinhalten, welche in der Datenbank aber als ü usw gespeichert werden sollen.
      
      oh. Das würde ich nicht tun. Man kann in der Datenbank prima latin1 oder utf8 speichern. Warum soll es in HTML gespeichert werden?
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - +10 replies
      - Gast john
        
        2009-03-17 12:41
        
        Dann muss ich doch aber jedesmal vor der Ausgabe HTML::Entities drüberlaufen lassen? Ist das nicht performanter wenn man es einmal davor macht?
        
        murphy
        
        2009-03-17 12:47
        
        User since
        2004-07-19
        1776 Artikel
        HausmeisterIn
        
        Ich denke nicht, dass das Escapen von Strings einen kritischen Performanceverlust verursacht. Es ist aber irgendwie logischer in der Datenbank keine escapten Daten abzulegen, schon weil man ja nicht weiß, ob man sie nicht auch mal in einem anderen Kontext als für die HTML-Ausgabe auslesen will.
        When C++ is your hammer, every problem looks like your thumb.
        
        pq
        
        2009-03-17 12:54
        
        User since
        2003-08-04
        12209 Artikel
        Admin1
        
        Guest john
        Dann muss ich doch aber jedesmal vor der Ausgabe HTML::Entities drüberlaufen lassen? Ist das nicht performanter wenn man es einmal davor macht?
        
        nein.
        kann ich dir so sagen, da ich mal verschiedene templating-systeme gebenchmarkt habe, die jeden template-parameter entweder escaped haben oder nicht. der unterschied ist vernachlässigbar.
        also wenn man wegen sowas HTML in der datenbank speichert, ohne das überhaupt mal gebenchmarkt zu haben...
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        +7 replies
        
        Struppi
        
        2009-03-17 13:04
        
        User since
        2006-02-17
        628 Artikel
        BenutzerIn
        
        Guest john
        Dann muss ich doch aber jedesmal vor der Ausgabe HTML::Entities drüberlaufen lassen?
        Das musst du nicht, wenn die Seite eine passende Kodierung hat.
        
        +5 replies
        
        murphy
        
        2009-03-17 13:10
        
        User since
        2004-07-19
        1776 Artikel
        HausmeisterIn
        
        2009-03-17T12:04:08 Struppi
        Guest john
        Dann muss ich doch aber jedesmal vor der Ausgabe HTML::Entities drüberlaufen lassen?
        Das musst du nicht, wenn die Seite eine passende Kodierung hat.
        
        Unabhängig von der Kodierung muss man bestimmte Zeichen mit Sonderbedeutungen immer escapen -- zum Beispiel '<', was den Start eines Tags anzeigt. Selbst wenn man den Text in CDATA-Sektionen legt, muss man darauf achten, dass nicht die Endmarkierung der Sektion mitten im Text auftaucht.
        When C++ is your hammer, every problem looks like your thumb.
        
        +4 replies
        
        Struppi
        
        2009-03-17 16:44
        
        User since
        2006-02-17
        628 Artikel
        BenutzerIn
        
        2009-03-17T12:10:27 murphy
        2009-03-17T12:04:08 Struppi
        Guest john
        Dann muss ich doch aber jedesmal vor der Ausgabe HTML::Entities drüberlaufen lassen?
        Das musst du nicht, wenn die Seite eine passende Kodierung hat.
        
        Unabhängig von der Kodierung muss man bestimmte Zeichen mit Sonderbedeutungen immer escapen -- zum Beispiel '<', was den Start eines Tags anzeigt.
        Was aber, wie du schon sagst, nichts mit der Kodierung zu tun hat, zumal escapen wenig bringen dürfte, du meinst die Konvertierung in Entities.
        
        Aber wir reden hier ja von JS und JS ist es egal ob da < oder < steht, wenn man einen Textknoten damit befüllt, bei innerHTML sieht die Sache natürlich wieder anders aus. Wobei auch dort erstmal ein < nicht weiter stört, erst ein > versteckt den Text.
        
        Und richtig problematisch wird es, wenn HTML Tags erlaubt sind.
        
        +3 replies
        
        murphy
        
        2009-03-17 17:16
        
        User since
        2004-07-19
        1776 Artikel
        HausmeisterIn
        
        2009-03-17T15:44:49 Struppi
        [...] zumal escapen wenig bringen dürfte, du meinst die Konvertierung in Entities.
        
        Die Konvertierung bestimmter Zeichen in Entities ist eine spezielle Form des Escapings. Escaping bedeutet für mich, bestimmte Zeichensequenzen in andere umzusetzen um eine Sonderfunktion der Originale zu vermeiden. Dieser Vorgang ist an vielen Stellen bei der Kommunikation verschiedener Informationsverarbeitungssysteme nötig, heisst aber immer Escaping, egal ob man Zeichen in einer HTML-Datei, einem JavaScript-String, einer Shell-Kommandozeile, einem Terminaldatenstrom oder sonstwo umwandelt, um ihre Sonderbedeutung zu maskieren.
        
        Quote
        Aber wir reden hier ja von JS und JS ist es egal ob da < oder < steht, [...]
        
        In der Tat haben JavaScript-Strings andere Escapingregeln als HTML-Seiten. So wie ich den Originalbeitrag und die Reaktionen seines Schreibers verstanden habe, geht es hier aber vor allem um das Escaping von Daten um sie in HTML-Seiten einzufügen.
        
        Ferner bleibt Deine Aussage, dass man sich mit der richtigen Kodierung das Escaping sparen könne auch dann falsch, wenn man JavaScript-Strings erzeugen will. Der einzige Inhaltstyp, bei dem man an keiner Stelle escapen muss ist purer Text.
        When C++ is your hammer, every problem looks like your thumb.
        
        +2 replies
        
        Struppi
        
        2009-03-17 17:32
        
        User since
        2006-02-17
        628 Artikel
        BenutzerIn
        
        Welche Sonderbedeutung hat ein 'ö'? Es muss auch escaped, sondern umgewandelt werden, wenn der Zeichensatz nicht stimmt. Ansonsten braucht man weder das eine noch das andere. Zeichen mit einer besonderen Bedeutung müssen escaped oder umgewandelt werden, da hast du Recht.
        
        2009-03-17T16:16:12 murphy
        In der Tat haben JavaScript-Strings andere Escapingregeln als HTML-Seiten. So wie ich den Originalbeitrag und die Reaktionen seines Schreibers verstanden habe, geht es hier aber vor allem um das Escaping von Daten um sie in HTML-Seiten einzufügen.
        und da muss, wie ich bereits sagte, auch nicht unbedingt escaped werden, du kannst in einen Textknoten ohne Probleme einen <TAG> verwenden, er wird als solcher dargestellt.
        
        [EDIT]Ach, und wie gesagt, wenn HTML Tags im Text erlaubt sind, sollte man natürlich auch nicht das Zeichen < umwandeln.
        Last edited: 2009-03-17 17:33:19 +0100 (CET)
        
        murphy
        
        2009-03-17 21:21
        
        User since
        2004-07-19
        1776 Artikel
        HausmeisterIn
        
        2009-03-17T16:32:07 Struppi
        Welche Sonderbedeutung hat ein 'ö'? Es muss auch escaped, sondern umgewandelt werden, wenn der Zeichensatz nicht stimmt. [...]
        
        Wenn der Zeichensatz den Buchstaben nicht enthaelt, dann hat er die Sonderbedeutung: "Das ist kein gueltiger Text, sondern Datenmuell" ;-)
        
        Quote
        2009-03-17T16:16:12 murphy
        [...] So wie ich den Originalbeitrag und die Reaktionen seines Schreibers verstanden habe, geht es hier aber vor allem um das Escaping von Daten um sie in HTML-Seiten einzufügen.
        und da muss, wie ich bereits sagte, auch nicht unbedingt escaped werden, du kannst in einen Textknoten ohne Probleme einen <TAG> verwenden, er wird als solcher dargestellt.
        
        Wenn man den Textknoten irgendwie direkt im Dokumentenobjektmodell erstellt, dann hast Du natuerlich recht. In den ueblichen textuellen Serialisierungsformaten von HTML muss man die spitzen Klammern aber schon in Entities umwandeln, damit sie im Text auftauchen.
        When C++ is your hammer, every problem looks like your thumb.
        
        pq
        
        2009-03-17 13:18
        
        User since
        2003-08-04
        12209 Artikel
        Admin1
        
        doch, aber zum glück gibt es template-systeme, die sowas automatisch machen =)
        
        hier ist übrigens der benchmark, den ich gemacht habe:
        http://tinita.de/docs/xss_csrf_wtf/img20.html
        Template-Toolkit kann das leider nicht, deswegen hat es nur den grünen balken.
        (edit: bzw. ich glaube, mit Template-Toolkit kann man sowas mittlerweile auch, aber es war irgendwie nicht so hübsch und ich vergess immer, wie es geht)
        Last edited: 2009-03-17 13:20:56 +0100 (CET)
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - Gast john
        
        2009-03-17 12:44
        
        Achja das endlos Problem war ziemlich offensichtlich. Ich habe ja versucht einen Array in einen String bei der While Schleife zu pressen :) Mit For gehts dann auch..

View all threads created 2009-03-17 12:12.