LWP::UserAgent Linefeed bei POST (gelöst) (Fragen zu Perl-Modulen)

[thread]20008[/thread]

LWP::UserAgent Linefeed bei POST [gelöst]

Tags: perl5 Linefeed Ähnliche Threads

Leser: 10

Articles: hide open all | hide show old branches

+20 replies
Gast Alex

2016-03-07 11:28

Hallo zusammen.

ich habe ein kleines Perl Script, dass per LWP-Modul textbasierte Dateien auf einen anderen "Server" (Microcontroller) läd. Die Dateien sind UTF-8 codiert mit \CR\LF als Linefeed. Dieses Script lief bisher auf einem Windows-System und die Dateien kamen auf dem Microcontroller auch mit \CR\LF als Linefeed an. Aktuell versuche ich gerade, dass Script auf einem Linux System (Debian) laufen zu lassen, was ja grundlegend auch problemlos funktioniert - allerdings enthalten die Dateien nach dem Upload kein \CR\LF mehr als Linefeed sondern nur noch das \LF.

Bin jetzt etwas ratlos, warum die Dateien überhaupt "bearbeitet" werden (in Bezug auf den Linefeed). Mir ist schon klar, das Linux nur \LF als Linefeed verwendet - wenn ich das Script aber zum testen auf einem 1&1 Webspace (Linux) laufen lasse, kommen die Dateien ebenfalls unverändert mit \CR\LF an... nur auf meiner Debian Installation nicht. :)

Denke es hakt irgendwo an der Konfiguration der Perl Installation oder des Debian Systems. Habe aber leider nicht den Hauch einer Ahnung "wo" ich kucken muss.

Hat mir evtl. jemand einen Tipp?

Gruß
Alex
Last edited: 2016-03-07 11:57:21 +0100 (CET)
- +3 replies
- Linuxer
  
  2016-03-07 12:01
  
  User since
  2006-01-27
  3891 Artikel
  HausmeisterIn
  
  Es geht konkret um welches LWP-Modul?
  
  Vergleiche die Perl-Versionen und Versionen des LWP-Moduls auf Deinem Debian und auf dem 1&1 Server.
  meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
  Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
  - +2 replies
  - Gast Alex
    
    2016-03-07 12:26
    
    Bei 1&1 läuft 5.10.1, auf meinem Debian 5.14.2
    
    Quote
    Es geht konkret um welches LWP-Modul?
    
    ...ist wohl eher HTTP::Request::Common das den eigentlichen Request abschickt? Aber ich bin mir ja nicht mal sicher ob es was mit dem Modul zu tun hat oder mit sonstigen Einstellungen am Server.
    Last edited: 2016-03-07 12:43:49 +0100 (CET)
    - Linuxer
      
      2016-03-07 13:33
      
      User since
      2006-01-27
      3891 Artikel
      HausmeisterIn
      
      Guest Alex
      Bei 1&1 läuft 5.10.1, auf meinem Debian 5.14.2
      
      Quote
      Es geht konkret um welches LWP-Modul?
      
      ...ist wohl eher HTTP::Request::Common das den eigentlichen Request abschickt? Aber ich bin mir ja nicht mal sicher ob es was mit dem Modul zu tun hat oder mit sonstigen Einstellungen am Server.
      
      Verschiedene Client-Systeme liefern verschiedene Ergebnisse am gleichen Server. Da würde ich die Client-Systeme untersuchen.
      
      Und um sowas zu untersuchen, kontrolliert man beispielsweise die Modul-Versionen, die auf den jeweiligen Systemen verwendet werden. Wenn da Unterschiede bestehen, sollte man untersuchen, worin die Unterschiede bei den Modul-Versionen bestehen und ob der Fehler daher stammen könnte.
      
      Der Server ist doch derselbe, warum sollte der sich unterschiedlich verhalten, je nachdem ob die Daten vom Windows-Client, 1&1-Server oder Debian Server kommen?
      meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
      Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
- GwenDragon
  
  2016-03-07 12:56
  
  User since
  2005-01-17
  14787 Artikel
  Admin1
  
  Wenn du die Dateien als binäre Daten und multiform content hochlädtst, verändert sich da nix.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +9 replies
- bianca
  
  2016-03-07 12:59
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  Ich vermute das an irgendeiner Stelle die Datei kopiert wird und das Zielsystem deshalb die Zeilenumbrüche ändert. In Perl und LWP würde ich da als letztes suchen.
  10 print "Hallo"
  20 goto 10
  - +8 replies
  - Gast Alex
    
    2016-03-07 13:15
    
    hm... es ist richtig, dass das Zielsystem die eingehenden Daten in einem .tmp File auf der SD-Card zwischenspeichert. Aber es verändert dann nichts daran (das kann es nicht/hat keine Funktion dazu). Ist nur ein kleiner Microcontroller mit eigenem Betriebssystem das diesbezüglich eben nichts kann :)
    Die Daten kommen auch schon ohne \CR\LF beim Microcontroller an. Also das .tmp File enthält schon nur noch \LF als Linefeed.
    
    Wäre glaub auch nicht die Erklärung warum es nur beim meiner lokalen Debian Installation nicht so funktioniert wie bei den anderen beiden Systemen - also einmal wenn ich die Datei von einem Windows System schicke und einmal vom 1&1 Webspace.
    Last edited: 2016-03-07 13:25:50 +0100 (CET)
    - +5 replies
    - bianca
      
      2016-03-07 13:32
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      Wie kommt denn die Datei auf das Debian und wie sieht sie dort mit Hexeditor betrachtet aus?
      10 print "Hallo"
      20 goto 10
      - +4 replies
      - Gast Alex
        
        2016-03-07 14:02
        
        2016-03-07T12:32:30 bianca
        Wie kommt denn die Datei auf das Debian und wie sieht sie dort mit Hexeditor betrachtet aus?
        
        Per FTP. ASCII allerdings. Sind zu 90% html Dateien.
        
        Oh Mann... glaub das is es! vim zeigt mir am Debian mit :set ff "fileformat=unix" an... dann fehlen da ja schon die Umbrüche.
        Dann is es der FTP Server, der bei 1&1 evtl. anders konfiguriert ist?... Mit meinem FTP Client hab ich da nie was anderes eingestellt. Der steht eigentlich für .htm und .html auf ASCII. Zeigt auch bei beiden Servern an, das er es in ASCII überträgt.
        < Transfer(02543790): 150 Opening ASCII mode data connection for index.htm
        Last edited: 2016-03-07 14:16:25 +0100 (CET)
        
        +3 replies
        
        GwenDragon
        
        2016-03-07 14:17
        
        User since
        2005-01-17
        14787 Artikel
        Admin1
        
        Ähm, ich dachte zu sendest Daten der Datei rüber mit LWP und POST.
        Wieso jetzt FTP!?
        
        So kann man Helfende gut verwirren. Hmmmpf... Wozu habe ich mir jetzt Gedanken gemacht bei LWP.
        
        Wenn du nicht willst das Hinz&Kunz, Windoofs, Debian-Doof, Schnarch-SuSe was im FTP-Server umkodiert, dann sende bitte keine Dateinamen, wie .txt, .html, .pl die als ASCII erkwannt werden können.
        
        Was hindert dich daran, die Dateiendung .dat oder .bin zu nennen? Das verhindert sowas auch. ;)
        Last edited: 2016-03-07 14:20:24 +0100 (CET)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        +2 replies
        
        Gast Alex
        
        2016-03-07 14:27
        
        2016-03-07T13:17:50 GwenDragon
        Ähm, ich dachte zu sendest Daten der Datei rüber mit LWP und POST.
        Wieso jetzt FTP!?
        
        Tut mir leid, wenn ich Dich verwirre - war nicht meine Absicht. Aber du hattest oben schon recht mit "binary" Mode. Allerdings war bei mir der Fehler schon eine Stufe vorher.
        
        Ich schicke die von mir am PC bearbeiteten Dateien per FTP (ASCII) auf den Debian Server. Der Debian Server schickt später dann die Dateien mithilfe des LWP Moduls an das Zielsystem (Microcontroller). Ich dachte die fehlenden LineFeeds kommen bei der Übertragung vom Debian-System an den Microcontroller zusammen... aber die fehlen schon, nachdem ich die Dateien per FTP auf das Debian System geladen habe. Ich war wohl zu blöd zum kucken. :(
        Last edited: 2016-03-07 14:35:03 +0100 (CET)
        
        GwenDragon
        
        2016-03-07 14:39
        
        User since
        2005-01-17
        14787 Artikel
        Admin1
        
        Blöd gibts nicht, nur unaufmerksam oder unerfahren. Kein Problem für uns hier. Kann passieren. Aus Stolperfallen lernt man. :)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - Linuxer
      
      2016-03-07 13:36
      
      User since
      2006-01-27
      3891 Artikel
      HausmeisterIn
      
      Guter Ansatz von bianca.
      Hat die Datei im Debian-System noch die korrekten Umbrüche?
      Ein FTP-Transfer mit "ascii mode" kann die Umbrüche in übertragenen Dateien verändern! Wenn das nicht gewünscht ist, dann im "binary mode" übertragen. Oder eine Übertragungsart nutzen, die die Daten nicht verändert (z.B. scp).
      meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
      Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
    - GwenDragon
      
      2016-03-07 14:15
      
      User since
      2005-01-17
      14787 Artikel
      Admin1
      
      Tja, wie die Daten an das Zielsystem gesendet werden und wie das empfangende Zielsystem die Daten speichert ist ein großes Geheimnis von dir.
      Und welche Perl-Module auf den unterschiedlichen Debian-Distries welche Versionen haben auch.
      Warum das unter 5.10 und 5.14 unterschiedlich ist? Weil sich da bei bestimmten Modulen sich was geändert hat. Steht alles in deren Changelogs. Oder ist auf CPAN nahczulesen. Musst du wohl machen, wenn du wissen willst, warum dies oder jenes sich geändert hat. Leider.
      
      Wenn du Daten mit CRLF als Zeilenende verwendest, in eine Zeichenkette packst und mit LWPs POST sendest, kann sehr wohl nur LF als Zeilenende gesendet werden. Ich habs aus Windows mit 5.14.4 getestet.
      
      Wenn du das vermeiden willst, eine einfache mögliche Lösung:
      1. Daten binär aus deiner Quelldatei in eine Zeichenkette einlesen,
      2. Zeichenkette serialisieren (meinwtwegen als Hexzeichen wie bspw. 3232330D0A563377596500D0A )
      3. Parameter senden
      4. Auf der Zielseite Parameter zurück kodieren
      5. Zeichenkette binär in Datei abspeichern
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- Gast janus
  
  2016-03-07 13:45
  
  In HTTP ist die Definition eines Zeilenumbruch einheitlich geregelt: CRLF
  
  Womit sich eine Leerzeile als CRLFCRLF ergibt. Das ist von Betriebssystemen unabhängig. Module und Libraries die HTTP konform sein wollen müssen also o.g. Anforderungen CRLF genügen.
  Last edited: 2016-03-07 13:47:32 +0100 (CET)
- +5 replies
- Gast Alex
  
  2016-03-07 14:30
  
  Bianca und alle anderen...
  
  danke für den Zaunpfahl! ... so einfach. Könnt mich schon wieder ärgern. :)
  Übertrage ich das Zeug binary per FTP auf das Debian System ist alles gut.
  
  Gruß
  Alex
  Last edited: 2016-03-07 14:35:16 +0100 (CET)
  - +2 replies
  - GwenDragon
    
    2016-03-07 14:37
    
    User since
    2005-01-17
    14787 Artikel
    Admin1
    
    Das sind so böse Fallen, wenn FTP-Clients (oder gar Server?) beim Upload mitdenken.
    Alles eine Erfahrungssache, das nächste Mal weißte ja woran es liegen kann. ;)
    
    Dann markiere ich den Thread mal als gelöst.
    Last edited: 2016-03-07 15:56:12 +0100 (CET)
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - Gast Alex
      
      2016-03-07 14:57
      
      Danke.
      
      Gruß
      Alex
      Last edited: 2016-03-07 14:59:15 +0100 (CET)
  - +2 replies
  - Muffi
    
    2016-03-08 08:48
    
    User since
    2012-07-18
    1465 Artikel
    BenutzerIn
    
    Ich glaub das ist so ziemlich jedem schon mal passiert, der mit ftp arbeitet.
    Ich kann mich (zu jeder Zeit, als Internet per Modem noch teuer war) noch an einen riesigen ftp download eines zips mit zig MB erinnern, den ich mir so zerschossen hab. Merkt man natürlich erst nach Stunden, wenn das zip dann nicht aufgeht.
    Last edited: 2016-03-08 08:51:23 +0100 (CET)
    1 + 1 = 10
    - bianca
      
      2016-03-08 18:48
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      Das kenne ich auch. *Autsch* :)
      10 print "Hallo"
      20 goto 10

View all threads created 2016-03-07 11:28.