Josef Schweiger, Mitbesitzer des Holzwerkes Gebrüder Schweiger, erwarb 1919 den Grund in der heutigen Bahnhofstraße. Für die Planung eines standesgemäßen Wohnhauses beauftragte er den Münchner Architekten Beninger. Der Entwurf mit Anklängen an den Münchner Jugendstil wurde vom ortsansässigen Baumeister Johann Baptist Haydn ausgeführt.
Durch die Inflation verzögerte sich der Baubeginn bis September 1923, und erst 1924 bezog er sein neues Zuhause.
Am 20. Dezember 1935 heiratete Josef Schweiger in München Maria Roglmeier.
Als Josef Schweiger 1952 starb, blieb seine Frrau alleine in der Villa. Kinder waren dem Paar nicht beschert. Allerdings war der 2. Stock vermietet, denn während und unmittelbbar nach dem Krieg waren auch die Schweigers von Einquartierungen nicht verschont geblieben.
Maria Schweiger wurde gerne von den Vereinen bei Jubiläen als Fahnenmutter gewählt.
Auch bei den Arbeitern des Werkes war sie beliebt. Der Christbaum für die Villa wurde von ihnen besorgt, dafür gab es eine Halbe Bier. Bei einem Stundenlohn von 56 Pfennigen war dies Anfang der 1950er Jahre ein willkommenes Geschenk, weiß Josef Blasi von seinem Vater zu berichten.
1987 starb Maria Schweiger mit 96 Jahren. Ihre Erben verkauften die Villa an die Firma Infraplan, die das große Areal bebaute. Die Villa durfte nicht abgerissen werden, da sie unter Denkmalschutz steht. Die Firma Infraplan schenkte deshalb am 28. September 1992 das Haus der Marktgemeinde.1991 hatte der damalige Vorsitzende des Vereins Heimatmuseum Wilhelm Haller auf Initiative von Heini Schmitt einen Antrag gestellt, die Schweiger-Villa als Museum nutzen zu dürfen.
Die Bausubstanz des Hauses war gut. Dennoch mussten umfangreiche Arbeiten angegangen werden: Die Entrümpelung mit Sichtung der erhaltungswürdigen Gegenstände, die Sanierung und Neuverlegung der
Elektro-, Heizungs- und Sanitäranlagen, die Überarbeitung und Ergänzung der Parkett- und Dielenböden und die Restaurierung der Außenfassade und der Innenwände. Viele Aufträge wurden an ortsansässige Firmen vergeben. Ohne die Unterstützung des gemeindlichen Bauhofes und einigen tausend
Stunden ehrenamtlicher Arbeitseinsätze wäre die Renovierung der Villa nicht möglich gewesen.
Nachdem der Gemeinderat der Schenkung zugestimmt hatte, wurde am 4. Juli 1997 der Nutzungsvertrag unterschrieben und die Schlüssel im Rahmen einer kleinen Feierstunde übergeben. Am 1. August konnte die Bevölkerung am Tag der offenen Tür ihr künftiges Heimatmuseum zum 1. Mal besuchen.
Die Markt Schwabener Jugend hatte freilich andere Interessen: So wurde am 19. Oktober 1991 die Villa besetzt und die Fahne vom Jugendtreff JIMS gehisst. Die damaligen stellvertretenden Bürgermeister Franz Bader und Josef Blasi konnten die Jugendlichen allerdings überzeugen, dass die Gemeinde und die Firma Infraplan eine ruhigere Nutzung vorgesehen hatten.