Am Swisterberg lag einst ein großer Hof und ein kleines Dorf dabei; es war das selbständige Pfarrdorf Swist, auch Swisterberg genannt, mit eigener romanischer Pfarrkirche, zu deren Sprengel bis zur Verselbständigung sowohl Weiler als auch Vernich zählten. Swist, das im „Kleinen Kirchfeld“ nördlich des Bahndammes und östlich der Kölner Straße gelegen war, ist im 13. Jahrhundert untergegangen. Nur der Turm der Bergkirche, Wahr- und Wappenzeichen unserer Gemeinde, ist erhalten.

Um 1312 kam es zur Gründung eines Hofes als Sitz der Vögte für den Swisterhof. Aus ihm wurde später, vermutlich nach 1488, die zweiteilige Wasserburg Kühlseggen.

Die Besitzer waren die Ritter Scheiffart von Merode. Sie besaßen auch die andere Wasserburg, die Weiler- oder meist nach ihnen genannte Scheiffartsburg. Diese ist seit der Mitte des 19. Jahrhunderts nach und nach verfallen. Ein Turmrest hielt sich bis 1945 und diente dann am 6. März den eingerückten amerikanischen Truppen als Steinbruch für die Anlage von Behelfsbrücken über die Erft.

Im 18. Jahrhundert kam die Verehrung des hl. Donatus in Münstereifel auf. Von Weilerswist aus ging jährlich eine Wallfahrt zum Donatus-Fest am 2. Juli dorthin, um den Heiligen als Fürsprecher gegen Blitz und Unwetter anzurufen. Der ins Leben gerufenen St. Donatus-Bruderschaft ist nicht nur die Umwandlung des ehemaligen Katharinenkreuzes an der Straßenkreuzung beim heutigen Friedhof in ein Donatuskreuz zu verdanken, sondern auch das Donatus-Gemälde in der Pfarrkirche St. Mauritius.