Selv om Krygerhus ligger tæt på bycentrum i Vejle, er det samtidig trukket lidt tilbage fra vejen, og ligger i læ af skovskrænten – også i højden. Byggeriet fremtræder næsten som en slags naturligt fremvoksende ”klipper” af moderne arkitektur i landskabet.