URI: Relative URI auflösen (Fragen zu Perl-Modulen)

[thread]15239[/thread]

URI: Relative URI auflösen

Leser: 18

Articles: hide open all | hide show old branches

+24 replies
GwenDragon

2010-07-02 16:32
User since
2005-01-17
14748 Artikel
Admin1
Ich plage mich gerade mit einem Problem. Ich muss HTML parsen und Links umwandeln. Parsen ist ja kein Problem mit HTML::Parser.

Es sollen gefundene relative Links in absolute umgewandelt werden.
Will URI aber nicht wirklich und immer. :(

Kann mir das jemand erklären und einen Ausweg aus dem Problem sagen?

Testschnippsel:
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

#!/usr/bin/perl use strict; use warnings; use URI; my $myurl = 'http://example.org/a/b/c/d/e/y.html'; print "BasisUrl = $myurl\n\n"; for my $u ( 'http://example.org/x/../../../../../x.htm', '../../../../../x.htm', '../x.htm', '././../././../../x.htm', '././../././../.././../.././../.././../../../x.htm' ) { print "$u = ", URI->new_abs($u, $myurl), "\n"; }
Ausgabe:
Code: (dl )

1 2 3 4 5 6 7

BasisUrl = http://example.org/a/b/c/d/e/y.html http://example.org/x/../../../../../x.htm = http://example.org/x/../../../../../x.htm ../../../../../x.htm = http://example.org/x.htm ../x.htm = http://example.org/a/b/c/d/x.htm ././../././../../x.htm = http://example.org/a/b/x.htm ././../././../.././../.././../.././../../../x.htm = http://example.org/../../../../../x.htm
Mag ja am Wetter liegen, 32°C, aber ich stehe auf dem Schlauch.

//EDIT: Defekte Tags repariert
Last edited: 2010-07-02 16:34:49 +0200 (CEST)
die Drachin Gwen

Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +16 replies
- esskar
  
  2010-07-02 16:38
  
  User since
  2003-08-04
  7321 Artikel
  ModeratorIn
  
  was erwartest du denn als ausgabe? ist doch alles ok!
  - +15 replies
  - pq
    
    2010-07-02 16:39
    
    User since
    2003-08-04
    12208 Artikel
    Admin1
    
    ich denke, bei der letzten url sollten die ../../ verschwunden sein, oder?
    Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
    lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
    - esskar
      
      2010-07-02 16:43
      
      User since
      2003-08-04
      7321 Artikel
      ModeratorIn
      
      wieso? bei dem letzten gehts 10 eben höher, aber base uri ist nur 6 ebenen breit!
      Last edited: 2010-07-02 16:44:15 +0200 (CEST)
    - Escape
      
      2010-07-02 16:46
      
      User since
      2008-07-24
      312 Artikel
      BenutzerIn
      
      2010-07-02T14:39:22 pq
      ich denke, bei der letzten url sollten die ../../ verschwunden sein, oder?
      
      Einen ähnlichen Link hab ich innerhalb einer Website; auch die Yahoo Suchmaschine (jedenfalls inktomisearch) kann damit nicht umgehen und erzeugt ständig Fehlermeldungen im error.log
      Die Deutsche Rechtschreibung ist Freeware; Du darfst sie kostenlos nutzen – aber sie ist nicht Open Source, d.h. Du darfst sie nicht verändern und/oder in veränderter Form veröffentlichen.
    - +4 replies
    - esskar
      
      2010-07-02 16:49
      
      User since
      2003-08-04
      7321 Artikel
      ModeratorIn
      
      local $URI::ABS_REMOTE_LEADING_DOTS = 1; setzen hilft da!
      - +3 replies
      - GwenDragon
        
        2010-07-02 17:41
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        Ah, ja.
        
        Ich kapiere die Doku nicht so wie sie da steht.
        Nur was bedeutet das genau:
        
        Quote
        $URI::ABS_REMOTE_LEADING_DOTS
        
        You can also have the abs() method ignore excess ".." segments in the relative URI by setting $URI::ABS_REMOTE_LEADING_DOTS to a TRUE value.
        
        abs ignoriert zu oft benutzte .. ? Oder wie.
        
        Der Apache macht das ja so:
        Schleife
        Wenn ./ vorhanden ist -> ./ rauslöschen aus URI
        Wenn ../ vorhanden ist -> im Pfad höher gehen und ../ rauslöschen aus URI
        Bis nichts mehr zu ändern ist
        
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        +2 replies
        
        kristian
        
        2010-07-02 17:47
        
        User since
        2005-04-14
        684 Artikel
        BenutzerIn
        
        2010-07-02T15:41:07 GwenDragon
        Der Apache macht das ja so:
        Schleife
        Wenn ./ vorhanden ist -> ./ rauslöschen aus URI
        Wenn ../ vorhanden ist -> im Pfad höher gehen und ../ rauslöschen aus URI
        Bis nichts mehr zu ändern ist
        
        Hierzu bitte die Quelle.
        
        GwenDragon
        
        2010-07-02 17:55
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        Arrgh. Ich weiß gerade die Sourcedatei nicht.
        Und deswegen ist es eher eine diffuse Erinnerung.
        
        Tut mir leid, wenn du meinst es ich nicht korrekt, dann sage es bitte.
        Mir geht s gerade nicht darum, zu beweisen, was der Server macht.
        
        Das hat mit meinem Grundproblem beim Modul URI nichts mehr zu tun.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - +8 replies
    - GwenDragon
      
      2010-07-02 17:23
      
      User since
      2005-01-17
      14748 Artikel
      Admin1
      
      Korrekt.
      
      ../ mehrfach bedeutet bedeutet gehe ein Verzeichnis zurück solange es geht. So machen es die Webserver bei solchen URI. Und ./ muss es ignorieren weile es ja das aktuell angewählte Verzeichnis ist.
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - kristian
        
        2010-07-02 17:36
        
        User since
        2005-04-14
        684 Artikel
        BenutzerIn
        
        2010-07-02T15:23:44 GwenDragon
        So machen es die Webserver bei solchen URI.
        
        Die Webserver machen es?
        Bist du sicher?
        Ich behaupte es ist Sache des Browsers den richtigen Link zu basteln.
      - +2 replies
      - esskar
        
        2010-07-02 17:47
        
        User since
        2003-08-04
        7321 Artikel
        ModeratorIn
        
        falsch. du hoffst das es das tut. und wenn du die option setzt, macht es auch. anderes verhalten ist genau richtig!
        
        GwenDragon
        
        2010-07-02 17:52
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        Was ist denn jetzt falsch oder richtig bei meiner Aussage?
        Ich versteh deinen Satz gerade nicht.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - +4 replies
      - Escape
        
        2010-07-02 21:59
        
        User since
        2008-07-24
        312 Artikel
        BenutzerIn
        
        2010-07-02T15:23:44 GwenDragon
        ./ muss es ignorieren weile es ja das aktuell angewählte Verzeichnis ist.
        
        Nein
        ./
        geht zum Unterverzeichnis des aktuellen Verzeichnisses
        Die Deutsche Rechtschreibung ist Freeware; Du darfst sie kostenlos nutzen – aber sie ist nicht Open Source, d.h. Du darfst sie nicht verändern und/oder in veränderter Form veröffentlichen.
        
        +2 replies
        
        pq
        
        2010-07-02 22:17
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        nein. der punkt bedeutet aktuelles verzeichnis.
        in foo/bar/./baz ist das ./ redundant.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        Escape
        
        2010-07-03 01:05
        
        User since
        2008-07-24
        312 Artikel
        BenutzerIn
        
        2010-07-02T20:17:49 pq
        nein. der punkt bedeutet aktuelles verzeichnis.
        
        Richtig angemerkt ...
        und deshalb bedeutet
        ./
        Unterverzeichnis des aktuellen Verzeichnisses.
        ../
        nächsthöheres Verzeichnis in Relation zum aktuellen Verzeichnis.
        
        Edit:
        Muß sowas hier diskutiert werden?
        Das sind Grundlagen an denen nicht zu rütteln ist.
        Last edited: 2010-07-03 01:09:02 +0200 (CEST)
        Die Deutsche Rechtschreibung ist Freeware; Du darfst sie kostenlos nutzen – aber sie ist nicht Open Source, d.h. Du darfst sie nicht verändern und/oder in veränderter Form veröffentlichen.
        
        GwenDragon
        
        2010-07-02 22:29
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        Nee, das würde ja deiner Meinunge nach bedeuten, dass das nächste Unterverzeichnis den Namen / hat. Das kann es aber nicht haben, denn / ist der Pfadtrenner unter Unixen.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- pq
  
  2010-07-02 16:38
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  hm, auf den ersten blick könnte das der gleiche bug sein:
  https://rt.cpan.org/Public/Bug/Display.html?id=490...
  
  tut sich seit jahren nix :-/
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- +5 replies
- kristian
  
  2010-07-02 17:26
  User since
  2005-04-14
  684 Artikel
  BenutzerIn
  In der Praxis ein heikles Thema :-)
  URI würde ich immmer eval(n).
  Das Biest died wenn es einen Fipptehler ala htp:// fressen soll und nimmt das gesammte Prog mit.
  Am Ende bleiben manchmal wie geschildert unschöne Dinge, das lustige ist, dass du die "kaputten" Urls jedem Browser geben kannst, die machen das.
  LWP leider nicht. :-(
  also erst evaln dann cleanen.
  Aussch(n)itt aus Code den ich für nen Bot nutze:
  
  Code: (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
  
  my $new_url = ''; eval{ my $u = URI->new_abs($link_string, $last_url); $new_url = $u->canonical; }; if($@){ $self->log_message("clean_link Error: $@", 20); return undef; } return undef unless(length($new_url)); $new_url =~ s!\.\./!!g; $new_url =~ s!\./!!g; $new_url =~ s!//$!/!g;
  - +4 replies
  - GwenDragon
    
    2010-07-02 17:36
    
    User since
    2005-01-17
    14748 Artikel
    Admin1
    
    Ähm, hier geht um HTML-Code lokal auf dem Server.
    Das wird geparst und dann sauber als absoluten Links ausgegeben.
    
    Irgendwie verstandest du das Problem falsch. Wohl zu heiß heute. ;)
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - +3 replies
    - kristian
      
      2010-07-02 17:40
      
      User since
      2005-04-14
      684 Artikel
      BenutzerIn
      
      Hmmm, bin ich wirklich im falschen Film.
      Du willst HTML parsen und Links ziehen.
      Diese Links sollen "richtig" sein.
      Zum Prüfen nimmt man gerne einen Browser und (zumindest ich) wundert sich, warum die aus dem Schrott das richtige machen.
      Du selbst willst aus dem Schrott auch das richtige machen?
      Hmmm, bin ich wirklich im falschen Film.
      - +2 replies
      - GwenDragon
        
        2010-07-02 17:45
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        Na gut. Damit du es verstehst.
        
        Ich bekomme ein mit Sontswas generiertes HTML-Template vom Webgrafiker für eine Navi (Beispiel):
        
        Code: (dl )
        
        1 2 3
        
        <li><a href="../../../..test/x.html">X aufrufen</a> <li><a href="../.././test/x.html">testX aufrufen</a> <li><a href=".././t/x.html">tX aufrufen</a>
        
        Da soll dann folgendes per CGI-Handler gemacht werden:
        1. Link in absolute umgewandelt werden (BaseUrl anhängig)
        2. Wenn Link = aktuelle URL, dann Link entfernen
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        kristian
        
        2010-07-02 17:55
        
        User since
        2005-04-14
        684 Artikel
        BenutzerIn
        
        Naja, ich bin im falschen Film ;-)
        Unabhängig davon bleiben aber meine Einwände:
        1. Der Webserver macht da AFAIK nichts, es ist Sache des Browsers.
        2. URI erst evaln dann cleanen.
        Das Ergebnis sollte unabhängig vom Film funktionieren.
- GwenDragon
  
  2010-07-02 22:37
  
  User since
  2005-01-17
  14748 Artikel
  Admin1
  
  Als Gedankenstütze wie RFC die Auflösung der relativen URI definiert:
  http://www.apps.ietf.org/rfc/rfc1808.html#sec-4
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2010-07-02 16:32.