Ich vermute, diese Fehlermeldung kommt von einem der Matroskaprogramme. Da kann ich Dir aber nicht wirklich weiterhelfen, denn ich habe diese Programme nicht installiert und niemals zuvor verwendet.

Ins blaue hinein geraten wäre es möglich, dass die Dateinamen deiner .mkv-Dateien ungünstige Zeichen, wie zum Beispiel doppelte Anführungszeichen und/oder Leerzeichen enthalten, die zu Verwirrung in den Kommandozeilen zum Aufruf der externen Programme führen — um genau solche Probleme zu vermeiden, hatte ich ursprünglich die Multiargumentformen von system und open vorgeschlagen. Da diese bei Dir aber offenbar nicht funktionieren bliebe in diesem Falle als einzig sinnvolle Lösung wohl das Umbenennen der Dateien, so dass die Namen möglichst leer- und sonderzeichenfrei sind.