Web-Crawler : URL Extraktion (Allgemeines zu Perl)

[thread]19347[/thread]

Web-Crawler : URL Extraktion

Tags: perl5 Ähnliche Threads

Leser: 16

Articles: hide open all | hide show old branches

+7 replies
kimmy

2014-10-24 14:47

User since
2010-09-10
87 Artikel
BenutzerIn

Hallo Zusammen,

ich schreibe gerade einen Web-Crawler für folgende Seite : http://www2.mouser.com/
Wenn man die Seite anschaut, dann sieht man oben rechts die Sprachauswahl. Ich nehme an, dass es pro Sprache auch eine einzelne URL gibt. Aber bei mir zeigt immer die selbe URL.
Wie kann ich die einzelnen URLs herausfinden?
Vielen Dank im voraus.
- GwenDragon
  
  2014-10-24 15:46
  
  User since
  2005-01-17
  14748 Artikel
  Admin1
  
  Die Umschalten geschieht auf der Website mit XHR und über die folgende URI /productservice.svc/json/GetCategoriesForDisplay?location=LEFT_NAV&lang=en-GB wird wohl JSON geholt und per JS eingefügt.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +5 replies
- GwenDragon
  
  2014-10-24 15:57
  
  User since
  2005-01-17
  14748 Artikel
  Admin1
  
  In msg #175749 schrieb ich doch mal was:
  
  2014-05-26T15:31:21 GwenDragon
  Und warum rufst du nicht gleich die Seite mit den Länderkennern als Subdomain auf?
  
  EU http://eu.mouser.com/
  DE http://de.mouser.com/
  IT http://it.mouser.com/
  
  Wie du siehst benutzen die ISO-Codes für die Länder.
  
  Wieso rufts du die Seite nicht über die URL auf?
  
  //EDIT:
  Bitte frage wenn du was nicht verstehst ;)
  Last edited: 2014-10-24 17:39:09 +0200 (CEST)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +4 replies
  - kimmy
    
    2015-04-01 12:43
    
    User since
    2010-09-10
    87 Artikel
    BenutzerIn
    
    wie ist dann bei der Auswahl der Währung?
    wie kann man die anderen Parameter(Region, Language, Währung) anpassen?
    - +3 replies
    - GwenDragon
      
      2015-04-01 13:34
      
      User since
      2005-01-17
      14748 Artikel
      Admin1
      
      Probier doch mal im Browser rum und schau dir mit F12 die Cookies an die gesendet werden!
      
      Cookie preferences ist wohl zuständig.
      Parameter:
      pl mit Wert de-DE ist Deutsch
      pc_de mit Wert USDe is US$
      pc_de mit Wert EUR ist Euro
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - +2 replies
      - kimmy
        
        2015-04-01 13:50
        
        User since
        2010-09-10
        87 Artikel
        BenutzerIn
        
        muss ich dann in URL solche Parameterwerte hinzufügen? wie z.B.
        http://www2.mouser.com/?pl=en-GB&pc_de=USD&ps=eu&p...
        
        GwenDragon
        
        2015-04-01 14:23
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        Nein, dein Webcrawler muss ein Cookie mit den angesprochenen Parametern haben.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2014-10-24 14:47.