Crawler für versteckte HTML-Frames (Allgemeines zu Perl)

[thread]18033[/thread]

Crawler für versteckte HTML-Frames

Tags: perl5 Ähnliche Threads

Leser: 21

Articles: hide open all | hide show old branches

+8 replies
kimmy

2013-01-07 12:43

User since
2010-09-10
87 Artikel
BenutzerIn

Hallo Zusammen,

ich hätte einen Crawler für folgende Web-Seite schreiben.
http://www.vishay.com/search?query=CNY117&autoSubm...

Aber im Quelltext finde ich keine Inhalte. Kann ich mit der Hilfe "LWP-Modul" solche versteckte Source-Code auch herunterladen? Oder gibt es andere Möglichkeit, dass ich solche Webseite analysieren kann??
- jan
  
  2013-01-07 12:56
  
  User since
  2003-08-04
  2536 Artikel
  ModeratorIn
  
  Ja. Das läuft über JavaScript / Ajax, das sind am Ende also auch nur ganz normale HTTP-Requests, Du musst dir nur anschauen, welche URLs da aufgerufen werden.
  Dafür bietet sich z.B. das Firefox-Plugin LiveHTTPHeaders an.
- +5 replies
- GwenDragon
  
  2013-01-07 13:21
  
  User since
  2005-01-17
  14759 Artikel
  Admin1
  
  Ich nehme an, das geht nur mit WWW::Scripter, WWW::Scripter::Plugin::JavaScript und JavaScript::SpiderMonkey.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +4 replies
  - bianca
    
    2013-01-07 13:37
    
    User since
    2009-09-13
    7016 Artikel
    BenutzerIn
    
    2013-01-07T12:21:25 GwenDragon
    Ich nehme an, das geht nur mit WWW::Scripter, WWW::Scripter::Plugin::JavaScript und JavaScript::SpiderMonkey.
    
    Warum?
    Du kannst doch jeglichen Request mit LWP nachbauen.
    10 print "Hallo"
    20 goto 10
    - +3 replies
    - GwenDragon
      
      2013-01-07 13:53
      
      User since
      2005-01-17
      14759 Artikel
      Admin1
      
      Solange nicht JS sonstwas am DOM verdreht, dieses ausliest und dann einen Request tätigt, die Response vielleicht verändert, geht das. Aber es hat Gründe, warum es das Plugin für JS in WWW::Mechanize bzw. WWW::Scriptor gibt.
      
      Ist eben aufwändiger, das jedesmal umzupatchen, wenn sich irgendwo auf der Webseite was ändert. Kann man machen.
      
      //EDIT: Ich frage mich gerade, wie du das mit LWP machen willst, denn die Seite benutzt XHR und JSON, um Inhalte abzuholen und zu rendern.
      Last edited: 2013-01-07 14:02:05 +0100 (CET)
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - +2 replies
      - jan
        
        2013-01-07 14:26
        
        User since
        2003-08-04
        2536 Artikel
        ModeratorIn
        
        2013-01-07T12:53:31 GwenDragon
        //EDIT: Ich frage mich gerade, wie du das mit LWP machen willst, denn die Seite benutzt XHR und JSON, um Inhalte abzuholen und zu rendern.
        
        LWP und JSON? :)
        XHR sind ja auch nur HTTP-Requests mit Zusatzheader (der selten vom Server beachtet wird).
        
        GwenDragon
        
        2013-01-07 15:53
        
        User since
        2005-01-17
        14759 Artikel
        Admin1
        
        Ich habe nicht behauptet, dass Perl nicht JSON verwenden könnte, und diverse Requests mittels LWP absetzen kann es auch. Ich weiß das doch.
        
        //EDIT2: Du wolltest mich wohl ein bisschen ärgern!? ;)
        
        //EDIT: Die Requests habe ich ja schon in msg #164733 gezeigt.
        Rauszufummeln, welche Inhalte wichtig sind, muss der TE eben selbst.
        Last edited: 2013-01-07 17:32:11 +0100 (CET)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- GwenDragon
  
  2013-01-07 14:24
  User since
  2005-01-17
  14759 Artikel
  Admin1
  Welche Daten brauchst du überhaupt?
  
  Ich habe mal kurz nachgesehen, dass folgende Requests (teilweise per XMLHttpRequest) abgesetzt werden:
  
  Code: (dl )
  
  1 2 3 4 5 6
  
  GET /search?query=CNY117&autoSubmit=false&x=0&y=0 GET /search.webapp/general-info?get=CATEGORIES GET /search.webapp/part-search?sEcho=1&iColumns=7&sColumns=&iDisplayStart=0&iDisplayLength=15&mDataProp_0=0&mDataProp_1=1&mDataProp_2=2&mDataProp_3=3&mDataProp_4=4&mDataProp_5=5&mDataProp_6=6&iSortCol_0=0&sSortDir_0=asc&iSortingCols=1&bSortable_0=false&bSortable_1=false&bSortable_2=false&bSortable_3=false&bSortable_4=false&bSortable_5=false&bSortable_6=false&search-term=CNY117&_=1357564839169 GET /product-content/search-inventory-stocks-count-sql?query= GET /search.webapp/part-info?id=83876 GET /search.webapp/part-info?id=83598
  
  Last edited: 2013-01-07 14:28:08 +0100 (CET)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2013-01-07 12:43.