CGI.pm wurde zu Zeiten entworfen und geschrieben in denen Scripte nur ein paar KB Speicher belegen durften. große Dateien lassen sich da nur über externen Speicher lesen und verarbeiten. Darum die Geschichte mit den temporären Dateien. Seit damals hat sich einiges getan und heute dürfen Prozesse auch gerne mal mehrere Gb Ram belegen. Aber nachträglich das komplette Design von CGI verändern geht auch nicht da es durchaus Scripte gibt, welche die Temporären Dateien direkt benutzten und nicht die Filehandles.
Moderne Module bieten darum Hooks für File-Transfers. Mit denen kann man selber entscheiden wie Dateien behandelt werden sollten.

multipart/form-data halte ich nicht für obsolete. Und sonderlich schwer zu Parsen ist es auch nicht. Es ist halt ein hierarchisches und sequenzielles Format. Der Sequenztrenner ist frei wählbar sodass er nicht dem binären Inhalt kollidiert. Der Inhalt-Body muss auch nicht Speziell kodiert und kann Binär übertragen werden. Ich sehe nicht was für einen direkten Vorteil ein proprietäres Format bieten sollte, außer das es mit etwas weniger Overhead auskommen mag.