Nein, das ist alles Spekulation und Hineinlesen deinerseits.
Das Fliehen in der Beschreibung ist eine Ortsangabe. Von da rennst du weg, weil da der Zauber wirkt. Du rennst nicht weg, weil dich der Ort selbst ängstigt. Letzteres findet sich nicht in der Beschreibung. Die Angst wird kurz beschrieben, aber mit keinem Wort steht da, dass der Ort die Angst auslöst.
Deshalb kannst du das für die Stimmung verknüpfen und rollenspieltechnisch, wie @Prados Karwan und @Fimolas anregen, eine Rolle spielen lassen. Den Spielern aber generell den Zugang zum Ort mit der Begründung für 24 Std zu verweigern, dies ergebe sich aus den Regeln, wäre eine klare Überinterpretation.