All’epoca dei Comuni il castello apparteneva a Filippo di Morico, il quale lo vendette al Comune di Camerino; successivamente passò ai Varano che lo utilizzarono a scopo offensivo durante le lotte fra Signorie.

La rocca di Col di Pietra che si erge a picco sul fiume Fiastrone, segue le vicende del territorio al quale appartiene; di proprietà Casauriense prima e dei Varano poi (fin dalla seconda metà del sec XII!), ha scopo prettamente militare e difensivo.

Oggi restano solo alcuni ruderi, che testimoniano la presenza della torre di guardia e di alcuni saloni voltati. Poco più in basso sorge il “Borgo di Col di Pietra” con la chiesa dedicata a “San Giovanni” (Sancti lohannis supe Flussorium: cioè sopra il Fiastrone) già citata in documenti del 995.

Il borgo, nel corso dei secoli ha perso la struttura originaria; l’attuale configurazione, molto probabilmente, risale ai primi dell’ottocento.