Du musst bei belongs_to

'foreign.id' => 'self.user_id' bzw. 'foreign.id' => 'self.group_id' verwenden. In der "fremden" (foreign) Tabelle heißt es die Spalte ja jeweils "id" und in der Tabelle, für die das belongs_to definiert wird (self) "user_id" bzw. "group_id"