Schrift
[thread]8467[/thread]

LWP::UserAgent -> cookies/javascript required



<< |< 1 2 >| >> 11 Einträge, 2 Seiten
firefly
 2006-11-03 12:18
#71347 #71347
User since
2006-11-03
3 Artikel
BenutzerIn
[default_avatar]
Hi,

ich versuche schon seit geraumer zeit expedia.de via LWP auszulesen ... ohne erfolg . Ich habe einen preperierten link der mich auf eine unterseite bringt. Funktioniert im browser aber nicht mit LWP ...

Ich komme erst auf eine seite auf der java verlangt wird ... kein problem durch anhängen von &BCheck=1 gehts weiter, aber nur bis bis dahin wo ich jetzt fest stecke ... hier mein script :

Code: (dl )
1
2
3
4
5
6
7
8
9
10
11
my $cookie_jar = HTTP::Cookies->new(
file => "expedia.cok",
       autosave => 1, );
my $browser = LWP::UserAgent->new;
$browser->cookie_jar($cookie_jar);
$browser->timeout(10);
$browser->agent('Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)');
        
my $response = $browser->get('http://www.expedia.de/pub/agent.dll?qscr=dspv&htid=558185&crti=3&date1=03.11.2006&date2=05.11.2006&BCheck=1,1024,768,32&zz=1161709983549');    

print $response->content;


Ich weiß nicht wo das problem ist ?!? kann mir jemand helfen =] ?


//Modedit Gwendragon: Titel geändert\n\n

<!--EDIT|GwenDragon|1162983048-->
renee
 2006-11-03 12:56
#71348 #71348
User since
2003-08-04
14371 Artikel
ModeratorIn
[Homepage] [default_avatar]
LWP kann mit JavaScript nicht umgehen. Du musst also alle Requests analysieren und Dir die URL, die letztendlich abgefragt wird, selbst zusammenstellen.
OTRS-Erweiterungen (http://feature-addons.de/)
Frankfurt Perlmongers (http://frankfurt.pm/)
--

Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
Perl-Entwicklung: http://perl-services.de/
nepos
 2006-11-03 13:50
#71349 #71349
User since
2005-08-17
1420 Artikel
BenutzerIn
[Homepage] [default_avatar]
Java != Javascript. Das sind absolut zwei verschiedene Sprachen! Nur am Rande...
renee
 2006-11-03 14:10
#71350 #71350
User since
2003-08-04
14371 Artikel
ModeratorIn
[Homepage] [default_avatar]
Das ist mir schon klar! Die Sache mit Java hat firefly ja schon gelöst (durch das Anhängen des Parameters). Wenn man sich den Inhalt der Antwort anschaut, sieht man dass ziemlich viel JavaScript enthalten ist. Deswegen meine Anmerkung... :D
OTRS-Erweiterungen (http://feature-addons.de/)
Frankfurt Perlmongers (http://frankfurt.pm/)
--

Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
Perl-Entwicklung: http://perl-services.de/
nepos
 2006-11-03 15:57
#71351 #71351
User since
2005-08-17
1420 Artikel
BenutzerIn
[Homepage] [default_avatar]
@renee: ich glaube firefly war das ned so ganz klar ;) Drum meine Anmerkung. Das verwechseln leider viele...
firefly
 2006-11-08 10:56
#71352 #71352
User since
2006-11-03
3 Artikel
BenutzerIn
[default_avatar]
Eh leude mir ist schon klar das 90 % der Seite auf java basieren aber das was ich will kann man in Klartext im quelltext lesen ... die seite die ich erreiche fordert zum aktivieren der cookies auf und verweist dann auf einen "weiter link" der eine java funktion auslößt die nichts weiter tut als ein cookie zu schreiben und

Code: (dl )
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<script type="text/javascript">
<!--
var d, u, s;
d = new Date();
s = ","+screen.width+","+screen.height+","+screen.colorDepth;
u = "/pub/agent.dll?qscr=dspv&htid=558185&crti=3&date1=.11.&date2=.11.&zz=1161709983549&&BCheck=1"+s+"
&zz="+d.getTime();



function SubmitPage()
{
if( window.navigator.cookieEnabled )
document.cookie = "jscript=1; path=/;";

window.location.replace(u);
}
//-->


ganz so hengengeblieben bin ich nicht ... ich hab mir mit Firefox "Live Headers" genau angeschaut wie der GET des browsers ausschaut aber es geht nicht ... ich hab den HEADER 1 zu 1 kopiert das einzige was komisch ist das ich nicht in der lage bin
connection => keep-alive ... geht nicht, denn er hengt trotzdem noch "TX, close" an und ich bin wieder auf der selben seite ... verplant aber trotzdem Danke

späßle gmacht was
pq
 2006-11-08 11:28
#71353 #71353
User since
2003-08-04
12208 Artikel
Admin1
[Homepage]
user image
[quote=firefly,08.11.2006, 09:56]Eh leude mir ist schon klar das 90 % der Seite auf java basieren[/quote]
anscheinend ist dir nicht ganz klar, was java ist, und was javascript ist.
Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
lesen: Wiki:Wie frage ich & perlintro Wiki:brian's Leitfaden für jedes Perl-Problem
GwenDragon
 2006-11-08 11:55
#71354 #71354
User since
2005-01-17
14748 Artikel
Admin1
[Homepage]
user image
Wo ist das Problem? Werte eintragen, Cookie setzen und dann ein POST auf die neue URL. Steht doch alles im Javascript.;)
renee
 2006-11-08 12:14
#71355 #71355
User since
2003-08-04
14371 Artikel
ModeratorIn
[Homepage] [default_avatar]
Ist eher GET, oder?
OTRS-Erweiterungen (http://feature-addons.de/)
Frankfurt Perlmongers (http://frankfurt.pm/)
--

Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
Perl-Entwicklung: http://perl-services.de/
GwenDragon
 2006-11-08 12:36
#71356 #71356
User since
2005-01-17
14748 Artikel
Admin1
[Homepage]
user image
<< |< 1 2 >| >> 11 Einträge, 2 Seiten



View all threads created 2006-11-03 12:18.