Die Familie Varnbüler stammte ursprünglich aus der Schweiz. Als Gesandter in württembergischen Diensten war Johann Konrad Varnbüler (1595-1657) am Ende des 30jährigen Krieges entscheidend an den Verhandlungen zum Westfälischen Frieden beteiligt. Seinem diplomatischen Geschick war es zu verdanken, dass das Herzogtum Württemberg in seinen alten Grenzen wiederhergestellt werden konnte. Zum Dank erhielt er von Herzog Eberhard III. das Rittergut Hemmingen als Erblehen. Fortan führte die Familie den Titel „Freiherrn von und zu Hemmingen“.
Im Jahre 1826 kaufte die Familie Varnbüler das Höfinger Schlossgut. Der alte Ortsadel, die Truchsessen von Höfingen, war bereits 1711 ausgestorben.
Karl Eberhard Friedrich Varnbüler (1776-1832) hegte zeitlebens eine besondere Leidenschaft für die Landwirtschaft. 1818 gehörte er zu den Mitbegründern der Landwirtschaftlichen Hochschule Hohenheim. Von 1827-1832 war er württembergischer Finanzminister. Auch das Höfinger Schlossgut entwickelte sich in der Obhut der Familie Varnbüler zu einem landwirtschaftlichen Musterbetrieb. Zeitweise fanden dort bis zu 40 Personen Beschäftigung.
Eine beachtliche Laufbahn durchlief auch Axel Varnbüler (1851-1937), der in die politischen Fußstapfen seines Vaters, Karl von Varnbüler, getreten war. Vom Landrat brachte er es bis zum Gesandten in St. Petersburg und zum württembergischen Bevollmächtigten beim Bundesrat in Berlin. Nebenbei war er ein passionierter Maler. Im Treppenhaus des Hemminger Schlosses, das in den Jahren 1852-1856 durch den Stuttgarter Architekten Leins umgebaut worden war, kann man noch heute seine Wandgemälde begutachten.
Musische Neigungen zeigte übrigens auch noch ein anderer Nachkomme des Staatsministers. Seine Affäre mit der bayrischen Schauspielerin Marie Meyer war nicht ganz folgenlos geblieben. Ihr 1868 in Wien geborener gemeinsamer Sohn fiel zunächst durch seinen exzentrischen Lebensstil auf, machte sich dann aber als Literat unter dem Namen Gustav Meyrink einen Namen. Sein Roman Der Golem(1915) zählt heute zu den Klassikern der fantastischen Literatur.
In Höfingen endete die Ära Varnbühler im Jahre 1936. Bei einem Tauschgeschäft gingen Schloss und Gut in den Besitz von Hubertus Graf Leutrum zu Ertingen über.
