Es una muestra de la arquitectura defensiva del s. XI que surgió con la reconquista de las tierras ubicadas al sur del Llobregat. Las torres de defensa y los castillos marcaban las fronteras dentro de la Marca de Barcelona. En este contexto, el castillo fue atacado por los árabes en el año 1012. A partir de esta batalla, precedida por un largo período de paz, se encuentran las primeras referencias documentadas sobre el Castillo de Santa Oliva, que fue propiedad del rei Pedro IV de Aragón, el Ceremonioso, y posteriormente, del abad de Sant Cugat del Vallès hasta finales del s. XIX.
Del castillo, destaca la impresionante torre románica de planta rectangular, con ventanas y aspilleras de medio punto, culminada por almenas, que puede observarse desde el jardín de la casa. El edificio, asentado sobre una colina, domina el territorio. De ahí que el pueblo creciera a sus pies. La sala del castillo es el cuerpo adosado a la torre, que en el s. XVII se transformó para dar cabida a la iglesia en honor a la Virgen de los Remedios. Fue en este momento que se decidió decapitar la torre de la derecha, de base redonda con bonitas aspilleras, para convertirla en el campanar.
