Der Aufruf mit system() ist schon richtig, du brauchst ja den Rückgabewert. Allerdings musst du noch den Wert durch 256 teilen, um den "echten" Rückgabewert zu erhalten.
768 / 256 = 3
Und eine 3 als Rückgabewert sagt AFAIK aus, dass der iptables-Befehl nicht ausgeführt werden konnte. (Warst du wirklich root?) Die Ausgabe dazu sollte dann aber auf STDERR landen, also z.B. im Terminal, wenn du das Skript von dort aufrufst.