Web Scraping (Allgemeines zu Perl)

[thread]20522[/thread]

Web Scraping

Tags: perl5 Ähnliche Threads

Leser: 14

Articles: hide open all | hide show old branches

+13 replies
kimmy

2018-10-30 12:38
User since
2010-09-10
87 Artikel
BenutzerIn
Hallo.

Ich versuche ein Script zu schreiben, das einen vollständigen Seitenquelltext herunterladet.
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13

#!/usr/bin/perl -w use strict; use WWW::Mechanize; my $mech = WWW::Mechanize->new(); my $response = $mech->get('https://www.digikey.com/products/en?vendor=0&keywords=BAS16W'); if ($response->is_success) { print $mech->content; } else { die $response->status_line; }
Aber dann bekomme ich nur folgende Source:
<!DOCTYPE html><html><head><script>var i10cdone = (function() { function pingBeacon(msg) { var i10cimg = document.createElement('script'); i10cimg.src = '/i10c@p1/botox/file/nv-loaded.js?status=' + window.encodeURIComponent(msg); i10cimg.onload = function() { document.head.removeChild(i10cimg) }; i10cimg.onerror = function() { document.head.removeChild(i10cimg) }; document.head.appendChild(i10cimg) }; pingBeacon('loaded'); if (String(document.cookie).indexOf('i10c.bdddb=c2-f0103ZLNqAeI3BH6yYOfG7TZlRtCrMwqUo') >= 0) { document.cookie = 'i10c.bdddb=;path=/'; }; var error = ''; var i10cevthandler = window.addEventListener('error', function(e) { if (e && e.error && e.error.stack) { error = e.error.stack; } else if (e && e.message) { error = e.message; } else { error = 'unknown'; } }); return function() { window.removeEventListener('error', i10cevthandler); if (error) { pingBeacon('error-' + String(error).substring(0, 500)); document.cookie = 'i10c.bdddb=c2-f0103ZLNqAeI3BH6yYOfG7TZlRtCrMwqUo;path=/'; } }; })(); </script><script type=text/javascript data-config="%7B%7D" src="/i10c@p1/client/latest/auto/instart.js?i10c.opts=botox"></script><script>typeof i10cdone === 'function' && i10cdone();</script></head><body><script>setTimeout(function(){document.cookie="i10c.eac23=1";window.location.reload(true);},30);</script></body></html>

Ich nehme an, die Seite lässt sich nicht crawlen, oder? Gibt es irgendwelche Möglichkeit, die Seite herunterladen kann?
- +6 replies
- rosti
  
  2018-10-30 12:50
  
  User since
  2011-03-19
  3472 Artikel
  BenutzerIn
  
  Status Code?
  - +5 replies
  - kimmy
    
    2018-10-30 12:55
    
    User since
    2010-09-10
    87 Artikel
    BenutzerIn
    
    Was meinst du mit "Status Code"?
    - Linuxer
      
      2018-10-30 13:23
      
      User since
      2006-01-27
      3890 Artikel
      HausmeisterIn
      
      HTTP liefert einen Status-Code, ob eine Anfrage erfolreich ist oder nicht.
      Abhängig vom Status-Code kann man erahnen, wo das Problem vielleicht lag:
      
      https://metacpan.org/pod/WWW::Mechanize#$mech-%3Es...
      
      https://en.wikipedia.org/wiki/List_of_HTTP_status_...
      Last edited: 2018-10-30 13:25:25 +0100 (CET)
      meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
      Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
    - +3 replies
    - rosti
      
      2018-10-30 13:27
      
      User since
      2011-03-19
      3472 Artikel
      BenutzerIn
      
      2018-10-30T11:55:53 kimmy
      Was meinst du mit "Status Code"?
      
      Das steht als 1. Zeile über den HTTP Response Headers. Z.B. HTTP/1.1 200 Ok
      
      Offensichtlich auch bekommst Du einen Status 200. Im Zweifelfall kannst Du den Status auch über Dein Modul abfragen.
      
      Wenn Du einen Status 200 bekommst und ein komplett ausgeliefertes HTML, dann ist das völlig korrekt. Wenn ein Browser was anderes ausgibt, liegt das daran, daß er JS ausführt (Danke Gwen)
      
      MfG
      - +2 replies
      - kimmy
        
        2018-10-30 13:44
        
        User since
        2010-09-10
        87 Artikel
        BenutzerIn
        
        ja, ich bekomme den Status 200.
        Ich bekomme auch kein komplett HTML, sondern nur JS.
        
        rosti
        
        2018-10-30 16:31
        
        User since
        2011-03-19
        3472 Artikel
        BenutzerIn
        
        2018-10-30T12:44:58 kimmy
        ja, ich bekomme den Status 200.
        Ich bekomme auch kein komplett HTML, sondern nur JS.
        
        Doch Du bekommst HTML: Von <html> bis </html>. Sogar der Doctype ist dabei. Nur isses halt nur JS. Guck Dir an, was das macht, dann bekommst Du auch mehr ;)
        
        MfG
        
        PS:
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
        
        GET /products/en?vendor=0&keywords=BAS16W HTTP/1.0 Connection: Close Content-Type: application/x-www-form-urlencoded Host: www.digikey.com ================================================================= HTTP/1.1 200 OK Server: instart/nginx Date: Tue, 30 Oct 2018 16:05:00 GMT Content-Type: text/html Content-Length: 1346 Connection: close Set-Cookie: i10c.bdddb=c2-8b5a0gSXxIlUDEKPHrh3A;Path=/;domain=.digikey.com Cache-Control: no-cache, no-store X-Instart-Request-ID: 13719301888147495117:SEN01-CPVNPPRY11:1540915500:0
        
        Also ein Cookie ist auch dabei und der Rest sieht aus wie JSONP.
        Last edited: 2018-10-30 17:08:16 +0100 (CET)
- GwenDragon
  
  2018-10-30 13:06
  
  User since
  2005-01-17
  14748 Artikel
  Admin1
  
  WWW::Mechanize kann kein Javascript ausführen.
  Du brauchst ein Javascript fähiges WWW::Mechanize wie WWW::Mechanize::Firefox oder WWW::Mechanize::Chrome oder Mechanize-PhantomJS (Vortrag).
  Last edited: 2018-10-30 13:09:43 +0100 (CET)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +5 replies
- GwenDragon
  
  2018-10-30 13:43
  
  User since
  2005-01-17
  14748 Artikel
  Admin1
  
  Änder doch mal den User-Agent.
  $mech->agent_alias('Windows Mozilla');
  und dann mal abholen.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +4 replies
  - kimmy
    
    2018-10-30 13:48
    User since
    2010-09-10
    87 Artikel
    BenutzerIn
    
    Ich habe wie folgt mein Skript umgeschrieben:
    
    Code (perl): (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
    
    #!/usr/bin/perl -w use strict; use WWW::Mechanize::Firefox; my $mech = WWW::Mechanize::Firefox->new(); $mech->agent_alias('Windows Mozilla'); my $response = $mech->get('https://www.digikey.com/products/en?vendor=0&keywords=BAS16W'); if ($response->is_success) { print $mech->status(); print $mech->content; } else { die $response->status_line; }
    
    Dann bekomme ich:
    200<!DOCTYPE html><html><head><script>var i10cdone = (function() { function pingBeacon(msg) { var i10cimg = document.createElement('script'); i10cimg.src = '/i10c@p1/botox/file/nv-loaded.js?status=' + window.encodeURIComponent(msg); i10cimg.onload = function() { document.head.removeChild(i10cimg) }; i10cimg.onerror = function() { document.head.removeChild(i10cimg) }; document.head.appendChild(i10cimg) }; pingBeacon('loaded'); if (String(document.cookie).indexOf('i10c.bdddb=c2-f0103ZLNqAeI3BH6yYOfG7TZlRtCrMwqUo') >= 0) { document.cookie = 'i10c.bdddb=;path=/'; }; var error = ''; var i10cevthandler = window.addEventListener('error', function(e) { if (e && e.error && e.error.stack) { error = e.error.stack; } else if (e && e.message) { error = e.message; } else { error = 'unknown'; } }); return function() { window.removeEventListener('error', i10cevthandler); if (error) { pingBeacon('error-' + String(error).substring(0, 500)); document.cookie = 'i10c.bdddb=c2-f0103ZLNqAeI3BH6yYOfG7TZlRtCrMwqUo;path=/'; } }; })(); </script><script type=text/javascript data-config="%7B%7D" src="/i10c@p1/client/latest/auto/instart.js?i10c.opts=botox"></script><script>typeof i10cdone === 'function' && i10cdone();</script></head><body><script>setTimeout(function(){document.cookie="i10c.eac23=1";window.location.reload(true);},30);</script></body></html>
    
    Kannst du bitte noch genauer erklären, wie und was ich umschreiben muss?
    Last edited: 2018-10-30 13:50:42 +0100 (CET)
    - +3 replies
    - GwenDragon
      
      2018-10-30 19:01
      
      User since
      2005-01-17
      14748 Artikel
      Admin1
      
      Ich habe lange nixhts mehr mit dem Modul gemacht.
      
      Nach Zeile 7:
      
      Code: (dl )
      
      $mech->allow( javascript => 1 );
      
      Nach Zeile 12:
      
      Code: (dl )
      
      1 2
      
      print $_->{message} for $mech->js_errors();
      
      Last edited: 2018-10-30 19:04:50 +0100 (CET)
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - +2 replies
      - kimmy
        
        2018-10-31 11:49
        
        User since
        2010-09-10
        87 Artikel
        BenutzerIn
        
        Danke.
        Ich habe mit WWW::Mechanize::Chrome das Problem gelöst.
        
        Code (perl): (dl )
        
        1 2 3 4 5
        
        my $url = 'https://www.digikey.com/products/en?vendor=0&keywords='.$query.''; Log::Log4perl->easy_init($ERROR); # Set priority of root logger to ERROR my $mech = WWW::Mechanize::Chrome-> new(); $mech->get($url); my $html = $mech->content;
        
        Aber bei jedem Aufruf wird Chrome-Browser aufgemacht. Kann man das auch deaktivieren?
        
        GwenDragon
        
        2018-11-01 17:00
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        Nein, der Browser holt ja die Daten und führt auch das Javascript aus, da muss er starten.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2018-10-30 12:38.