Впервые упоминание о Плесской крепости появилось в летописи в 1141 году. История гласит о создании в этом месте трех крепостей. На Соборной Горе Плеса располагались сооружения из дерева, предположительно они относились к середине 12 века, то есть к домонгольскому периоду. В 1238 году эти оборонительные сооружения были сожжены татаро-монголами. Город восстановился только к началу 15 века – 1410 год. В этот период строится еще одна крепость, которую постигла та же участь, что и первую – пожар. После чего оборонительные сооружения опять восстановили, практически все из них полностью сгнили и были разрушены литовцами вместе с поляками.
