Am 07. Juli 1934, von Nürnberg nach Garmisch-Partenkirchen gekommen, fand er Unterkunft bei Buchwieser, Riess 2. Von hier aus plante Hirschmann zusammen mit dem bekannten Garmischer Architekten Hanns Ostler einen Neubau im Ostlerschen Heimatstil an der Klarweinstraße 11. Die ersten Pläne entstanden am 14. März 1934. Vorausgegangen war eine Grundabtretung zum Zwecke des Straßenbaus von den Grundstücksnachbarn Michael Becher, Pfarrer Mencke (St. Martin Garmisch) und Geschwister Ostler.

Der Garmischer Bürgermeister Thomma (NSDAP) nahm zu dem Baugesuch Hirschmann keine Stellung, "gemäß dem nationalsozialistischen Standpunkt... da sich hier wieder ein Jude ansässig machen will." Die Genehmigung der Pläne durch die Baubehörde erfolgte dann aber doch am 27. Juli 1934. Das Haus wurde fertiggestellt, die Hirschmanns wohnten einige Monate dort. Inzwischen wurde der Antisemitismus in Deutschland immer deutlicher und gefährlicher. So rieten denn auch die Kinder, die inzwischen in der Schweiz Zuflucht gefunden hatten, ihren Eltern dringend dazu, das Deutsche Reich zu verlassen - solange das noch möglich sein werde.

Am 12. Dezember 1935 ging das Ehepaar Hirschmann von Deutschland aus über die Schweiz und Griechenland nach Palästina (damals englisches Protektoratsgebiet) und ließ sich in Tel Aviv nieder.

Am 25. August 1936 teilte das Bezirksamt Garmisch der Bayerischen Politischen Polizei (SS) mit, dass „die veranlagte Reichsfluchtsteuer ... in völlig einwandfreier Weise sichergestellt" sei - eine an Zynismus kaum zu übertreffende bürokratische Floskel der NS-Räuber. Sie bedeutete: Vom Vermögen des Geflohenen blieb nichts mehr übrig. Das Polizeipräsidium Nürnberg-Fürth gab in einer Mitteilung vom 09. Mai 1939 (Nr.V/17401) bekannt, dass „Hirschmann mit Ehefrau mit Wirkung vom 08.01.1939 die palästinische Staatsangehörigkeit erworben ... u. die deutsche Staatsangehörigkeit verloren" habe.

In Tel Aviv niedergelassen, kam die Raserei der Epoche ein letztes Mal zu Stephan Hirschmann: Er wurde bei einem Angriff der mit dem Deutschen Reich verbündeten italienischen Luftwaffe auf Tel Aviv im September 1940 getötet - mit ihm weitere 136 Menschen. Der Angriff der mit Hitlerdeutschland verbündeten Italiener hatte dem englischen Mandatsgebiet Palästina gegolten.

Seine Frau Martha starb zwei Jahre später an einer schweren Krankheit.

Zur weiteren Geschichte des Hauses Klarweinstraße 11:

Wie die Arisierung des Hauses erfolgte, konnte ohne Einblicknahme ins Grundbuch nicht exakt festgestellt werden. Als Hausbesitzer ist in den Adressbüchern  des Marktes Garmisch-Partenkirchen 1937 und 1939 der Kaufmann Alfred Münch eingetragen.