Problem mit Golem-RSS-Feed (Allgemeine technische Fragen)

[thread]16671[/thread]

Problem mit Golem-RSS-Feed

Tags: https http Ähnliche Threads

Leser: 13

Articles: hide open all | hide show old branches

+13 replies
pq

2011-08-29 14:46
User since
2003-08-04
12208 Artikel
Admin1
hi,

ich habe hier ein seltsames phänomen mit dem newsfeed von golem.
die eigentliche url lautet: http://rss.golem.de/rss.php?feed=RSS1.0

diese url leitet aber zu http://golem.de.dynamic.feedsportal.com/pf/578068/... weiter, da golem seinen feed dort hosten lässt.

soweit, so gut.
in firefox, mit GET und lynx kriege ich da auch den feed als xml geliefert.

in opera leitet diese url aber auf https://golem.de.dynamic.feedsportal.com/pf/578068... weiter, was ein problem ist, da das zertifikat nicht für feedsportal.com ausgestellt ist.

nun bin ich der sache auf den grund gegangen und habe mittels telnet nachvollzogen, dass es die request-header sind, also kein bug in opera.
Code: (dl )

1 2 3 4 5 6 7 8 9

$ telnet golem.de.dynamic.feedsportal.com 80 GET /pf/578068/http://rss.golem.de/rss.php?feed=RSS1.0 HTTP/1.1 User-Agent: Opera/9.80 (X11; Linux i686; U; de) Presto/2.9.168 Version/11.50 Host: golem.de.dynamic.feedsportal.com Accept: text/html, application/xml;q=0.9, application/xhtml+xml, image/png, image/webp, image/jpeg, image/gif, image/x-xbitmap, */*;q=0.1 Accept-Language: de-DE,de;q=0.9,en;q=0.8 Accept-Encoding: gzip, deflate Cache-Control: no-cache Connection: Keep-Alive
wenn ich das ausführe, bekomme ich verschlüsselte daten geliefert.

wenn ich aber alle header nach dem 'Host'-Header weglasse, dann kommt unverschlüsseltes xml.

mit wireshark sehe ich auch einen Location-Header, der auf https zeigt, wenn ich das in Opera aufrufe.

irgendwas an den headern ist also speziell, so dass feedsportal.com auf https weiterleitet.

Ich habe schon Golem angeschrieben, aber die fühlen sich dafür nicht verantwortlich, da das ja nicht ihre Domain ist.

kann jemand das ergebnis des telnet-requests bestätigen?

edit: der entscheidende header ist Accept-Encoding:
Code: (dl )

1 2 3 4

$ telnet golem.de.dynamic.feedsportal.com 80 >telnet_opera12 GET /pf/578068/http://rss.golem.de/rss.php?feed=RSS1.0 HTTP/1.1 Host: golem.de.dynamic.feedsportal.com Accept-Encoding: gzip, deflate
liefert ssl. ohne Accept-Encoding kommt das unverschlüsselte xml.
Last edited: 2011-08-29 15:00:21 +0200 (CEST)
Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- +3 replies
- GwenDragon
  
  2011-08-29 15:13
  
  User since
  2005-01-17
  14759 Artikel
  Admin1
  
  Ich bekomme bei http://rss.golem.de/rss.php?feed=RSS1.0 keine Umleitung auf eine sichere Seite.
  Bei mir lädt der Feed ganz normal in Opera 11.50 von http://golem.de.dynamic.feedsportal.com/pf/578068/....
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +2 replies
  - pq
    
    2011-08-29 15:16
    
    User since
    2003-08-04
    12208 Artikel
    Admin1
    
    eventuell liegt es an irgendeiner einstellung, so dass dein opera andere request-header benutzt.
    kannst du das telnet-beispiel nachstellen?
    Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
    lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
    - Gast GwenDragon_Linux
      
      2011-08-29 15:39
      
      Wenn ich in Opera mit Strg Shift I Dragonfly aufrufe, Netzwerk wähle und dann im Reiter "Anfrage starten" die URL
      http://rss.golem.de/rss.php?feed=RSS1.0 einsetzen und dann Buttton Anfrage senden:
      
      more (1.1kb)
      
      Bei URL http://golem.de.dynamic.feedsportal.com/pf/578068/... kommt:
      more (1.5kb)
- GwenDragon
  
  2011-08-29 15:19
  
  User since
  2005-01-17
  14759 Artikel
  Admin1
  
  Das Problem der telnet-Abfrage ist auch bei mir nachvollziehbar.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +6 replies
- pq
  
  2011-08-29 15:34
  User since
  2003-08-04
  12208 Artikel
  Admin1
  ok, das mit ssl war falsch, zumindest in telnet.
  
  es ist der komprimierte feed, also korrekt.
  
  wenn ich aber wireshark während des opera-requests laufen lasse, sehe ich einen redirect:
  
  Code: (dl )
  
  Location: https://golem.de.dynamic.feedsportal.com/pf/578068/http://rss.golem.de/rss.php?feed=RSS1.0
  
  in Opera Dragonfly kann ich das auch nachvollziehen.
  Last edited: 2011-08-29 15:37:42 +0200 (CEST)
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - +3 replies
  - GwenDragon
    
    2011-08-29 15:55
    
    User since
    2005-01-17
    14759 Artikel
    Admin1
    
    Ich bekomme mit meinem Opera keinen Redirect auf HTTPS!
    Gerade wireshark angeworfen auf Linux.
    
    Irgendwo scheint deine Opera-Konfiguration zu spinnen.
    Last edited: 2011-08-29 15:56:24 +0200 (CEST)
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - +2 replies
    - pq
      
      2011-08-29 16:08
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      ja, ziemlich merkwürdig. wüsste aber nicht, welche einstellung das sein könnte. habe in about:config nach https gesucht und nichts auffälliges gefunden.
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - GwenDragon
        
        2011-08-29 16:14
        
        User since
        2005-01-17
        14759 Artikel
        Admin1
        
        Schon mit separaten Profilverzeichnis getestet?
        
        Ansonsten Backup von ~/.opera und
        vorgehen wie unter http://opera-info.de/forum/index.php?page=Thread&t... und http://opera-info.de/forum/index.php?page=Thread&t... beschrieben und sauberes Profil erstellen.
        Last edited: 2011-08-29 16:15:22 +0200 (CEST)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +2 replies
  - GwenDragon
    
    2011-08-29 16:09
    
    User since
    2005-01-17
    14759 Artikel
    Admin1
    
    Probiere das doch mal mit einenm frischen Opera-Profil.
    
    in der Shell aufrufen mit (so bleibt dein Original sauber):
    
    mkdir ~/operatestprofil/ opera -pd ~/operatestprofil/
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - pq
      
      2011-08-29 16:29
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      da tritt es nicht auf.
      die operaprefs.ini sind natürlich sehr unterschiedlich, so dass es schwer zu vergleichen ist.
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- +2 replies
- rosti
  
  2011-08-29 22:27
  
  User since
  2011-03-19
  3492 Artikel
  BenutzerIn
  
  hi pq,
  
  mit
  
  Accept-Encoding: gzip, deflate
  
  im Request-Header bekommst Du eine gzipte Response, das ist nicht verschlüsselt sondern komprimiert. Lass diesen Header weg. Und hole Dir die XML-Daten von der Ressource, auf welche der Location-Header zeigt (ungetestet).
  
  Viele Grüße aus Oppenheim!
  - pq
    
    2011-08-29 23:17
    
    User since
    2003-08-04
    12208 Artikel
    Admin1
    
    2011-08-29T20:27:08 rosti
    mit
    
    Accept-Encoding: gzip, deflate
    
    im Request-Header bekommst Du eine gzipte Response, das ist nicht verschlüsselt sondern komprimiert
    
    ach tatsächlich.
    lustigerweise schrieb ich das schon. schau mal weiter oben.
    Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
    lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem

View all threads created 2011-08-29 14:46.