Das einzige was ich mal in der Richtung gemacht habe war mit dem VLC. Da habe ich den Videosteram von einem V4L-Device (Kamera) kodiert und übers Nerz gestreamt. Der VideoLanClient kann eine ganze Menge Nachbearbeitung und ist auch einigermaßen schnell.
Das ist natürlich nur eine P2P Verbindung ohne Management oder Verschlüsselung.