És una mostra de l’arquitectura defensiva del segle XI que va sorgir amb la reconquesta de les terres ubicades al sud del Llobregat. Les torres de defensa i els castells marcaven fronteres dins la Marca de Barcelona. En aquest context, el castell va ser atacat pels àrabs l’any 1012. Arran d’aquesta batalla, precedida per un llarg període de pau, es troben les primeres referències documentades sobre el Castell de Santa Oliva, que va ser propietat del rei Pere el Cerimoniós, i posteriorment, de l’abat de Sant Cugat fins al segle XIX.
Del castell en destaca una impressionant torre romànica de planta rectangular, amb finestres i espitlleres de mig punt, culminada per merlets, que es pot observar des del jardí de la casa. L’edifici, assentat sobre un turó, domina el territori. Per això, als seus peus s’hi va desenvolupar el poble. La sala del castell és el cos adossat a la torre, que al segle XVII es va transformar per donar cabuda a l’església en honor a la Mare de Déu del Remei. Va ser en aquest moment que es va decapitar la torre de la dreta, de base rodona i amb boniques espitlleres, per convertir-la en campanar.
