Vor 1907 gab es schon das Gasthaus von Katharina Dölger, allerdings auf der anderen Straßenseite, gegenüber der Kirche. 1907 erfolgte von Ludwig Dölger der Neubau auf dem jetzigen Platz. Dölger war vorher in einem Husarenregiment und königlich bayerischer Ulan und Dörrmorsbacher Feuerwehrkommandant.

1912 öffnete er zu seinem Gasthaus eine Erfrischungsbude am Ortseingang auf Gailbacher Gemarkung am Wanderweg zur Hohen Warte. Von April bis Oktober wurde Selterswasser, Limonade und Milch zum sofortigen Verzehr ausgegeben.

1937 starb Frau Scholastika und Ludwig heiratete Helene. Diese führte das Gasthaus mit Tanzsaal von 1952 bis 1958. Bis 1962 war es an Richard Stahl verpachtet, dann von Adolf und Ingrid Dölger übernommen.

Am 31.12.2011 wurde das letzte Dörrmorsbacher Gasthaus geschlossen.

Eine Episode erzählt Albin Blatt: „Der Dölger“ war immer ein Treffpunkt der Grünmorsbacher Jugend. Die ließ es sich dort nicht schlecht gehen. Eines Abends, man saß in gesellschaftlicher Runde fröhlich zusammen und sang zeitgenössische Lieder, kam Wirt Ludwig Dölger in die Gaststube und bat die Grünmorsbacher Jugend: „Ihr Buwe, singt e bisje leiser – moi Fraa es gråd geschtorwe. “