Die Brüder in der Rorhalden werden erstmals im Testament der Pfalzgräfin Mechthild, Witwe Graf Ludwigs I. von Württemberg und Erzherzog Albrechts VI. von Österreich, erwähnt. Die Nennung im Zusammenhang mit anderen Bruderhäuser lässt die bisher in der Literatur vorgenommene Identifizierung mit dem gleichnamigen Paulinerkloster bei Rottenburg als unwahrscheinlich erscheinen. Laut eines Berichts von 1523 lebten die Brüder von Bettel und ihrer Hände Arbeit, ihr Grundbesitz umfasste lediglich einen Baumgarten.
Das 3,5 km ssö von Eltingen im Wald gelegene Bruderhaus wurde 1525 nur mit einem Steuerwert von 30 fl.¹veranschlagt. Als Steuerpflichtiger wird ein Bruder Vitus genannt. Um 1535 noch in einer Liste der Nollbrüderhäuser im Herzogtum Württemberg aufgeführt, wurde das mit einer Mauer umgebene Haus im Gefolge der Reformation aufgegeben. Zu Beginn des 17. Jahrhunderts war lediglich ein Keller übrig. Die letzten Mauerreste wurden 1932 bei einem Wegbau größtenteils beseitigt. Zwei Kartoffelsäcke mit spätmittelalterlichen Keramikscherben wurden damals vom Landesamt für Denkmalpflege nach Stuttgart gebracht. An das Bruderhaus erinnern bis heute im Wald die Mönchsklinge und etwas entfernt gelegen die moderne Mönchskellerhütte.