El geógrafo hispano-musulmán Al Bakrí fue uno de los primeros en mencionar la existencia de Zafra, al referirse al castillo de Sajra Abi Hassan, la importante fortaleza musulmana situada en el sur de la actual provincia de Badajoz. De hecho, Zafra, cuyo nombre evolucionó a partir del árabe Sajra, entró en la historia durante la época de la dominación musulmana como plaza fuerte fronteriza entre los reinos de taifas de Badajoz y Sevilla. El castillo árabe fue destruido más tarde por los cristianos, los cuales tomaron la villa en dos ocasiones, ya que después de la primera conquista volvieron a perderla.
El año de 1394 es quizá la fecha de mayor transcendencia en la historia de la localidad, dado que a partir de entonces Zafra fue el núcleo principal del señorío de Feria, convertido en condado por Enrique IV y en ducado por Felipe II. Lorenzo Suárez de Figueroa, el segundo titular del señorío, fue el personaje que más influyó a la hora de dar a Zafra el aspecto con el que ha llegado hasta nuestros días. Él promovió, por ejemplo, la construcción del alcázar de los duques de Feria, cuyos imponentes muros almenados de piedra sobresalen por encima de las casas, por lo general encaladas, de la localidad. El edificio, convertido hoy en parador de turismo, alberga un patio renacentista, una capilla gótico-mudéjar y bellos artesonados en algunas salas. Adosadas a sus fachadas sobreviven dos puertas de las murallas que ciñeron en otro tiempo todo el casco antiguo, formado por calles tan angostas como atractivas. En otras zonas de la villa se conservan la puerta de Jerez, situada en la pintoresca callecita del Clavel, y la puerta del Cubo, cuya estatua de Santiago Matamoros recuerda la belicosa época en la que se construyeron estas fortificaciones.
El propio Lorenzo Suárez de Figueroa fundó el hospital de Santiago, para el que se realizó un edificio con bella fachada y amplio patio, y terminó el convento de Santa Clara, donde se conservan las tumbas esculpidas de algunos miembros de su linaje.
En el siglo XVI, la desaparición de la antigua iglesia de la Candelaria permitió abrir el espacioso recinto de la plaza Grande, cuyos soportales alojan buena parte del comercio local y también algunos de los bares que concentran la animación nocturna. Un aspecto semejante, aunque con menos dinamismo comercial y festivo, presenta la plaza Chica, a la que se accede por el Arquillo del Pan, que guarda la popular imagen de la Virgen llamada “la Esperancita”. En la plaza Chica se encuentra el edificio dieciochesco del antiguo Ayuntamiento, mientras que la nueva casa consistorial ocupa las dependencias, incluido el claustro, del antiguo convento de la Cruz, situado en la elegante plaza del Pilar Redondo, donde puede verse bellos edificios de los siglos XIX y XX.