Según las investigaciones, el Castillo Aberrheidol puede ser el precursor del castillo Aberystwyth -ambos cerca de Ceredigion, en el centro de Gales – y que jugaron un papel preponderante en las invasiones de Gales e Irlanda.

Las excavaciones han demostrado que las murallas, originalmente revestida de madera, luego fueron entubados en piedra. La historia del castillo nos rempnta a Owain Gwynedd quien reconstruyo el castillo en 1136 después de derrotar a los normandos en Crug Mawr.

El castillo cambió de manos por lo menos cinco veces en el siglo 13, en las luchas entre Deheubarth, Gwynedd y el Inglés. Finalmente fue capturado por Llywelyn el Grande en 1221. Es probable que lo destruyó, ya que el registro es un silencio hasta que Eduardo I comenzó el nuevo castillo Aberystwyth una milla hacia el norte.

Segun algunas crónicas, el castillo pudo  haber sido edificado en  1277. La zona ha acogido a otros castillos antes de que, antes de ser una fortaleza que data de la Edad de Hierro. En el 1307 el castillo fue lo suficientemente próspera que la gente había hecho sus casas al lado de sus muros, y la ciudad fue desarrollandose.

El Castillo fue construido como una forma de diamante en forma concéntrica-fortaleza, con casetas en cada punto. Sus paredes, dentro de los muros de defensa permitió a sus guardias a disparar desde las alturas diferentes. El castillo tenía tambien dos garitas, una barbacana y una torre de altura en patio interior del castillo.

Hoy en día las ruinas del castillo sólo alude a su pasado, su imponente estructura destruida por el conflicto y su proximidad a la bahía de Cardigan. El castillo está abierto al público.