Asylgården blev placeret i det mellemste afsnit, hvor alle bygninger blev gulkalkede og havde røde tage. De blev opført ca. 1899.
Asylgården bestod af 4 bygninger og var opdelt i 5 afsnit:
- Sygehuset (C)
- Kvindeasylet (D)
- Mandsasylet (E)
- Børneasylet (F)
- Asylet for unge (Y). Denne bygning er nu revet ned.
De 4 bygninger var rammen om et lille parkanlæg, hvor Chr. Kellers buste endnu står.
Den nordlige bygning er mandsasyslet, og den sydlige kvindeasylet. Begge beregnet til 80 alumner.
Mod øst lå børneasylet med 50 pladser, og mod vest sygehuset med 36 pladser. I 1917 blev der indrettet tandklinik på sygehuset. Derudover var der plads til 40 arbejdsføre, som skulle hjælpe til med arbejdet.
Asylet er i dag renoveret og huser Comwell Kellers Park hotel.
