LWP::UserAgent SSL ausschalten (gelöst) (Fragen zu Perl-Modulen)

[thread]19871[/thread]

LWP::UserAgent SSL ausschalten [gelöst]

Tags: perl5 Ähnliche Threads

Leser: 11

Articles: hide open all | hide show old branches

+15 replies

bianca

2015-11-05 08:05

User since
2009-09-13
7016 Artikel
BenutzerIn

user image

Guten Morgen!
Hier im LAN steht ein Apache Webserver auf Windows. Per .htaccess wird auf Port 443 umgeleitet. Zertifikat hab ich keines gemacht, weshalb man im Browser eine Ausnahme hinzugügen muss bevor man mit dem Webserver kommunizieren kann.
Aber wie bringe ich dem CPAN:

LWP::UserAgent diese Ausnahme bei?
Probiert hab ich beide Schreibweisen leider ohne Änderung:

Code (perl): (dl )

my $ua = LWP::UserAgent->new(
    ssl_opts        => {
        SSL_verify_mode => SSL_VERIFY_CLIENT_ONCE(),
    },
    SSL_verify_mode => SSL_VERIFY_CLIENT_ONCE(),
);

Der Request geht als GET Methode gegen http://192.168.0.50/cgi-bin/meinscript.pl und funktioniert im Browser genau wie gewünscht, nur mit dem Script nicht. Intern (also über die hosts Datei) ist der auch unter meinserver.net erreichbar.

Ein Trace der Sache sieht so aus:

Code: (dl )

DEBUG: .../IO/Socket/SSL.pm:2688: new ctx 54039712
DEBUG: .../IO/Socket/SSL.pm:605: socket not yet connected
DEBUG: .../IO/Socket/SSL.pm:607: socket connected
DEBUG: .../IO/Socket/SSL.pm:629: ssl handshake not started
DEBUG: .../IO/Socket/SSL.pm:662: using SNI with hostname meinserver.net
DEBUG: .../IO/Socket/SSL.pm:697: request OCSP stapling
DEBUG: .../IO/Socket/SSL.pm:716: set socket to non-blocking to enforce timeout=180
DEBUG: .../IO/Socket/SSL.pm:729: call Net::SSLeay::connect
DEBUG: .../IO/Socket/SSL.pm:732: done Net::SSLeay::connect -> -1
DEBUG: .../IO/Socket/SSL.pm:742: ssl handshake in progress
DEBUG: .../IO/Socket/SSL.pm:752: waiting for fd to become ready: SSL wants a read first
DEBUG: .../IO/Socket/SSL.pm:772: socket ready, retrying connect
DEBUG: .../IO/Socket/SSL.pm:729: call Net::SSLeay::connect
DEBUG: .../IO/Socket/SSL.pm:2589: did not get stapled OCSP response
DEBUG: .../IO/Socket/SSL.pm:732: done Net::SSLeay::connect -> -1
DEBUG: .../IO/Socket/SSL.pm:735: SSL connect attempt failed

DEBUG: .../IO/Socket/SSL.pm:735: local error: SSL connect attempt failed error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed
DEBUG: .../IO/Socket/SSL.pm:738: fatal SSL error: SSL connect attempt failed error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed
DEBUG: .../lib/Net/HTTPS.pm:68: ignoring less severe local error 'IO::Socket::IP configuration failed', keep 'SSL connect attempt failed error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed'
DEBUG: .../IO/Socket/SSL.pm:2721: free ctx 54039712 open=54039712
DEBUG: .../IO/Socket/SSL.pm:2726: free ctx 54039712 callback
DEBUG: .../IO/Socket/SSL.pm:2733: OK free ctx 54039712
500 Can't connect to meinserver.net:443
$VAR1 = bless( {
                 '_request' => bless( {
                                        '_method' => 'GET',
                                        '_protocol' => undef,
                                        '_headers' => bless( {
                                                               'user-agent' => 'libwww-perl/6.13'
                                                             }, 'HTTP::Headers' ),
                                        '_content' => '',
                                        '_uri' => bless( do{\(my $o = 'https://meinserver.net/cgi-bin/meinscript.pl')}, 'URI::https' )
                                      }, 'HTTP::Request' ),
                 '_msg' => 'Can\'t connect to meinserver.net:443',
                 '_headers' => bless( {
                                        '::std_case' => {
                                                          'client-date' => 'Client-Date',
                                                          'client-warning' => 'Client-Warning'
                                                        },
                                        'content-type' => 'text/plain',
                                        'client-date' => 'Thu, 05 Nov 2015 06:46:04 GMT',
                                        'client-warning' => 'Internal response'
                                      }, 'HTTP::Headers' ),
                 '_rc' => 500,
                 '_content' => 'Can\'t connect to meinserver.net:443

Bad file descriptor at C:/strawberry/perl/site/lib/LWP/Protocol/http.pm line 50.
',
                 '_previous' => bless( {
                                         '_request' => bless( {
                                                                '_uri' => bless( do{\(my $o = 'http://192.168.0.50/cgi-bin/meinscript.pl')}, 'URI::http' ),
                                                                '_content' => '',
                                                                '_uri_canonical' => $VAR1->{'_previous'}{'_request'}{'_uri'},
                                                                '_headers' => bless( {
                                                                                       'user-agent' => 'libwww-perl/6.13'
                                                                                     }, 'HTTP::Headers' ),
                                                                '_method' => 'GET'
                                                              }, 'HTTP::Request' ),
                                         '_protocol' => 'HTTP/1.1',
                                         '_content' => '<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>302 Found</title>
</head><body>
<h1>Found</h1>
<p>The document has moved <a href="https://meinserver.net/cgi-bin/meinscript.pl">here</a>.</p>
</body></html>
',
                                         '_msg' => 'Found',
                                         '_headers' => bless( {
                                                                'vary' => 'Accept-Encoding',
                                                                'location' => 'https://meinserver.net/cgi-bin/meinscript.pl',
                                                                'connection' => 'close',
                                                                'content-length' => '234',
                                                                'client-response-num' => 1,
                                                                'client-date' => 'Thu, 05 Nov 2015 06:46:03 GMT',
                                                                'date' => 'Thu, 05 Nov 2015 06:46:13 GMT',
                                                                'x-frame-options' => 'SAMEORIGIN',
                                                                'title' => '302 Found',
                                                                'client-peer' => '192.168.0.50:80',
                                                                'server' => 'Apache/2.2.22 (Win32) mod_ssl/2.2.22 OpenSSL/0.9.8t',
                                                                '::std_case' => {
                                                                                  'title' => 'Title',
                                                                                  'client-peer' => 'Client-Peer',
                                                                                  'content-base' => 'Content-Base',
                                                                                  'x-frame-options' => 'X-Frame-Options',
                                                                                  'client-date' => 'Client-Date',
                                                                                  'client-response-num' => 'Client-Response-Num',
                                                                                  'base' => 'Base'
                                                                                },
                                                                'content-type' => 'text/html; charset=iso-8859-1'
                                                              }, 'HTTP::Headers' ),
                                         '_rc' => '302'
                                       }, 'HTTP::Response' )
               }, 'HTTP::Response' );

Das

Quote
Bad file descriptor at C:/strawberry/perl/site/lib/LWP/Protocol/http.pm line 50.

kennen wir ja noch aus change EAGAIN to EWOULDBLOCK to support Windows too #66, ist gepatcht.

Übrigens: ohne die Umleitung auf Port 443 über die .htaccess klappt alles perfekt. Die Umleitung möchte ich aber aus anderen Gründen drin lassen.
Hab auch versucht, über Firefox das Zertifikat zu exportieren und hier mittels SSL_ca_file einzubinden, das hat leider auch nichts geändert.

Was kann ich machen, dass die Zertifikatsprüfung an der Stelle im Script komplett ausgeschaltet wird?
Last edited: 2015-11-05 08:06:25 +0100 (CET)

10 print "Hallo"
20 goto 10

+3 replies
GwenDragon

2015-11-05 10:30

User since
2005-01-17
14748 Artikel
Admin1

Du willst also auf http://192.168.0.50:443/ zugreifen, LWP soll aber Zertifikate nicht prüfen?
Dann schalte es ab mit:
SSL_verify_mode => IO::Socket::SSL::SSL_VERIFY_NONE,
Last edited: 2015-11-05 10:31:41 +0100 (CET)
die Drachin Gwen

Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +2 replies
- Gast janus
  
  2015-11-05 11:20
  oder so:
  
  Code (perl): (dl )
  
  1 2
  
  SSL_verify_mode => 0x02, SSL_ca_file => Mozilla::CA::SSL_ca_file()
  
  Last edited: 2015-11-05 12:03:32 +0100 (CET)
  - noxxi
    
    2015-11-05 23:37
    User since
    2015-04-07
    18 Artikel
    BenutzerIn
    
    Guest janus
    oder so:
    
    Code (perl): (dl )
    
    1 2
    
    SSL_verify_mode => 0x02, SSL_ca_file => Mozilla::CA::SSL_ca_file()
    
    Der verify mode von 0x02 ist SSL_VERIFY_FAIL_IF_NO_PEER_CERT welcher auf der Clientseite überhaupt keine Bedeutung hat. Außerdem ist das Zertifikat vom Browser nichts was von einer öffentlichen CA unterschrieben wurde, sodass die Nutzung der CAs von Mozilla nichts bringt.
+4 replies

noxxi

2015-11-05 23:44

User since
2015-04-07
18 Artikel
BenutzerIn
[default_avatar]

Komplett ausschalten geht mit SSL_verify_mode auf 0 setzen (bzw. die Konstante SSL_VERIFY_NONE). Der bessere Weg ist natürlich die Zetifikatsverifikation nicht auszuschalten, weil ohne die Validierung kann man leicht man-in-the-middle Angriffe machen.

Besser ist es daher das Zertifikat selber als trusted zu markieren. Das kann über die Option SSL_fingerprint gemacht werden (siehe Dokumentation von IO::Socket::SSL für Details). Der andere Weg, den Du offensichtlich probiert hast, ist das Zertifikat über SSL_ca_file anzugeben. Dieses ist möglich solange

* Der Hostname im Zertifikat tatsächlich dem Namen in der URL entspricht.
* Und das Zertifikat korrekt selbst-signiert ist. D.h. insbesondere auch, dass das Zertifikat das CA-Flag auf true gesetzt hat, weil nur in diesem Fall darf das Zertifikat überhaupt zum signieren benutzt werden.

SSL_fingerprint ist die einfachere Sache und entspricht etwa dem, wenn man im Browser eine Ausnahme hinzufügt. SSL_ca_file ist komplexer und entspricht dem, wenn man in der Zertifikatsverwaltung des Browsers ein neues Zertifikat als trusted hinzufügt. Die Bedingung, dass der Hostname passen muss, gilt in diesem Falle auch im Browsert.

+3 replies

bianca

2015-11-06 07:02

User since
2009-09-13
7016 Artikel
BenutzerIn

user image

Danke GwenDragon, janus und noxxi für die Antworten!

Der Aufruf lautet nun:

Code (perl): (dl )

my $ua = LWP::UserAgent->new(
    ssl_opts        => {
        SSL_verify_mode => SSL_VERIFY_NONE(),
    },
    SSL_verify_mode => SSL_VERIFY_NONE(),
);

gegen https://192.168.0.50/cgi-bin/meinscript.pl

und leider ist das immer noch nicht so wie ich das erwarten würde:

Code: (dl )

DEBUG: .../IO/Socket/SSL.pm:2688: new ctx 40137824
DEBUG: .../IO/Socket/SSL.pm:605: socket not yet connected
DEBUG: .../IO/Socket/SSL.pm:607: socket connected
DEBUG: .../IO/Socket/SSL.pm:629: ssl handshake not started
DEBUG: .../IO/Socket/SSL.pm:665: not using SNI because hostname is unknown
DEBUG: .../IO/Socket/SSL.pm:697: request OCSP stapling
DEBUG: .../IO/Socket/SSL.pm:716: set socket to non-blocking to enforce timeout=180
DEBUG: .../IO/Socket/SSL.pm:729: call Net::SSLeay::connect
DEBUG: .../IO/Socket/SSL.pm:732: done Net::SSLeay::connect -> -1
DEBUG: .../IO/Socket/SSL.pm:742: ssl handshake in progress
DEBUG: .../IO/Socket/SSL.pm:752: waiting for fd to become ready: SSL wants a read first
DEBUG: .../IO/Socket/SSL.pm:772: socket ready, retrying connect
DEBUG: .../IO/Socket/SSL.pm:729: call Net::SSLeay::connect
DEBUG: .../IO/Socket/SSL.pm:2589: did not get stapled OCSP response
DEBUG: .../IO/Socket/SSL.pm:2542: ok=0 [0] /CN=ICH Certificate Authority/CN=meinserver.net
DEBUG: .../IO/Socket/SSL.pm:732: done Net::SSLeay::connect -> -1
DEBUG: .../IO/Socket/SSL.pm:735: SSL connect attempt failed

DEBUG: .../IO/Socket/SSL.pm:735: local error: SSL connect attempt failed error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed
DEBUG: .../IO/Socket/SSL.pm:738: fatal SSL error: SSL connect attempt failed error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed
DEBUG: .../lib/Net/HTTPS.pm:68: ignoring less severe local error 'IO::Socket::IP configuration failed', keep 'SSL connect attempt failed error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed'
DEBUG: .../IO/Socket/SSL.pm:2721: free ctx 40137824 open=40137824
DEBUG: .../IO/Socket/SSL.pm:2726: free ctx 40137824 callback
DEBUG: .../IO/Socket/SSL.pm:2733: OK free ctx 40137824
500 Can't connect to 192.168.0.50:443
$VAR1 = bless( {
                 '_msg' => 'Can\'t connect to 192.168.0.50:443',
                 '_content' => 'Can\'t connect to 192.168.0.50:443

Bad file descriptor at C:/strawberry/perl/site/lib/LWP/Protocol/http.pm line 50.
',
                 '_headers' => bless( {
                                        'client-date' => 'Fri, 06 Nov 2015 05:47:15 GMT',
                                        'content-type' => 'text/plain',
                                        'client-warning' => 'Internal response',
                                        '::std_case' => {
                                                          'client-warning' => 'Client-Warning',
                                                          'client-date' => 'Client-Date'
                                                        }
                                      }, 'HTTP::Headers' ),
                 '_rc' => 500,
                 '_request' => bless( {
                                        '_method' => 'GET',
                                        '_uri' => bless( do{\(my $o = 'https://192.168.0.50/cgi-bin/meinscript.pl')}, 'URI::https' ),
                                        '_content' => '',
                                        '_headers' => bless( {
                                                               'user-agent' => 'libwww-perl/6.13'
                                                             }, 'HTTP::Headers' )
                                      }, 'HTTP::Request' )
               }, 'HTTP::Response' );

Ist das Bad file descriptor at C:/strawberry/perl/site/lib/LWP/Protocol/http.pm line 50. da mittendrin in Ordnung?

2015-11-05T22:44:44 noxxi
Der bessere Weg ist natürlich die Zetifikatsverifikation nicht auszuschalten, weil ohne die Validierung kann man leicht man-in-the-middle Angriffe machen.

Ja, das simmt. Für mich ist das in diesem Fall nicht wichtig, weil a) es im LAN läuft und b) ein ganz harmloser Aufruf ohne irgendwelchen Datenaustausch ist. Ich hätte das am liebsten per Ajax gemacht aber die SOP steht mir in diesem Fall im Weg, weil das Script vom lokalen Webserver bedient wird, was auch so bleiben muss.

2015-11-05T22:44:44 noxxi
Der andere Weg, den Du offensichtlich probiert hast, ist das Zertifikat über SSL_ca_file anzugeben. Dieses ist möglich solange

* Der Hostname im Zertifikat tatsächlich dem Namen in der URL entspricht.
* Und das Zertifikat korrekt selbst-signiert ist. D.h. insbesondere auch, dass das Zertifikat das CA-Flag auf true gesetzt hat, weil nur in diesem Fall darf das Zertifikat überhaupt zum signieren benutzt werden.

Vor etlicher Zeit hatte ich da tatsächlich mal was probiert aber am Ende funktionierte es trotzdem nicht. Ich will mich da schon immer mal eingearbeitet haben aber es findet sich so wenig deutsche Literatur dazu.

10 print "Hallo"
20 goto 10

+2 replies
noxxi

2015-11-06 08:37
User since
2015-04-07
18 Artikel
BenutzerIn
Arghh, das LWP ist doch wirklich kaputt.
Damit es funktioniert musst du nicht nur die Validierung der Zertifikate in IO::Socket::SSL ausschalten (d.h. SSL_verify_mode) sondern zusätzlich LWP sagen, dass es das Zertifikat nicht überprüfen soll. Wenn letzteres nicht gemacht wird, dann schaltet LWP die Zertifikatsprüfung einfach wieder ein, d.h. überschreibt SSL_verify_mode.

Das folgende sollte funktionieren:
Code: (dl )

1 2 3 4 5 6

my $ua = LWP::UserAgent->new( ssl_opts => { SSL_verify_mode => SSL_VERIFY_NONE(), # ausschalten verify_hostname => 0, # und auch aus lassen! } );
Wenn du hingegen nur verify_hostname benutzt und nicht auch noch SSL_verify_mode so kann es dir passieren, dass es je nach Version von LWP und herstellerspezifischen Fixes funktioniert, siehe https://github.com/libwww-perl/lwp-protocol-https/... bzw. CVE-2014-3230.
Last edited: 2015-11-06 08:40:35 +0100 (CET)
- bianca
  
  2015-11-06 09:32
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  Genial, vielen vielen Dank!!
  10 print "Hallo"
  20 goto 10

+7 replies
GwenDragon

2015-11-06 10:25

User since
2005-01-17
14748 Artikel
Admin1

Ein weiterer Fallstrick ist die Umgebungsvariable PERL_LWP_SSL_VERIFY_HOSTNAME. Also mal nachsehen wie die gesetzt ist.
die Drachin Gwen

Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +6 replies
- bianca
  
  2015-11-07 18:31
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  Ist bei mir garnicht gesetzt. Was müsste da sinnvollerweise rein?
  10 print "Hallo"
  20 goto 10
  - +5 replies
  - GwenDragon
    
    2015-11-07 18:42
    
    User since
    2005-01-17
    14748 Artikel
    Admin1
    
    Ich habe die Umgenungsvariable auf 1 gestellt, damit LWP immer die Zertifikate prüft. Wenn du sowas nicht willst, setze die auf 0.
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - +4 replies
    - noxxi
      
      2015-11-07 20:02
      
      User since
      2015-04-07
      18 Artikel
      BenutzerIn
      
      Diese Variable PERL_LWP_SSL_VERIFY_HOSTNAME ist das gleiche wie die verify_hostname Option und hat die gleichen Probleme. Sie wird überhaupt nur benutzt wenn verify_hostname nicht gesetzt ist. Ich empfehlen die Abhängigkeit von irgendwelchen obskuren Umgebungvariablen (und davon hat LWP einige) unbedingt zu vermeiden, weil sonst funktioniert der Code mal und mal wieder nicht und keiner weiss warum.
      - GwenDragon
        
        2015-11-07 20:05
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        Hast Recht, das sind wieder Fallen für unerfahrene Programmierende.
        Danke für den Hiwneis.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - +2 replies
      - bianca
        
        2015-11-07 21:40
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Bedanke mich auch tüchtig!
        noxxi ich finde, du bist hier eine echte Bereicherung. Das Thema war hier bisher ein bisschen dünn besetzt.
        Alle Daumen hoch!
        10 print "Hallo"
        20 goto 10
        
        GwenDragon
        
        2015-11-08 11:15
        
        User since
        2005-01-17
        14748 Artikel
        Admin1
        
        @noxxi
        Danke. Für deine Hinweise.
        Manchmal sind Zusammenhänge diverser SSL-Module und LWP nur bedingt nachvollziehbar.
        Du machst hier einigen das Programmierleben einfacher.
        :)
        
        @bianca
        Ja, noxxi ist eine echte Hilfe!
        Er ist laut Github ein Programmierer von IO::Socket::SSL. Da weiß er genau Bescheid.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2015-11-05 08:05.