Il Castello sorge sulla sommità del colle che domina le contrade Accola e Carpineto. In realtà, l'antico manufatto non può essere considerato un castello nel senso letterale del termine, vale a dire come dimora protetta e trincerata di un signore feudale. Costituiva, piuttosto, una rocca, una fortezza eretta come estremo rifugio in caso di espugnazione del baluardo di S. Sebastiano
Thoro plano sta ad indicare un poggio, un'altura dal rilievo dolce, in contrapposizione al fronteggiante Thorus clivus, colle ripido, che oggi viene comunemente chiamato Torina, e corrisponde alla zona della Collegiata, ove nel IX secolo sorgeva una imponente rocca dedicata a San Michele Arcangelo. La posizione delle due rocche permetteva l'esercizio di uh sistema di segnalazioni tra di loro in caso di emergenza.
Secondo il Cerasuoli, l'opera fu iniziata nel IX secolo dopo che Sicario ebbe devastato e saccheggiato la Costa D'Amalfi. La costruzione della rocca si era sviluppata attorno ad un'antica chiesa dedicata a S. Nicola de Thoro-Plano. Tuttavia l'edificio, nella forma che presenta attualmente, fu restaurato ed ampliato, dai duchi Piccolomini, i quali, nel 1461, erano stati nominati da Ferdinando I d'Aragona feudatari del Ducato di Amalfi. La costruzione definitiva fu iniziata nel 1465 ed ultimata nel 1468.
All'interno del perimetro fortificato si trovavano caserme e ricoveri, capaci di ospitare una folta guarnigione, nonché centinaia di cittadini rifugiati; vi erano, inoltre, magazzini e cisterne; inoltre era presente una sorgente che assicurava l'approvvigionamento di acqua.
L'edificio, come si presenta attualmente, conserva ancora la forma originaria, con un perimetro poligonale rettangolo che si sviluppa per circa 550 metri. Le cortine menate, munite di feritoie e contrafforti, sono intervallate da nove torri celle cilindriche alte circa otto metri, con un diametro di cinque metri.