La torre está unida al lienzo de la muralla como en su día también lo estuvo la Torre del Oro y Torre de la Plata. La tía Tomasa fue una anciana del siglo XIX, que sin medios económicos de ningún tipo y sin hogar se instaló en la Torre convirtiéndola en su casa. De dónde le viene el nombre de torre o castillo de la tía Tomasa.
Más extrañas son las leyendas sobre diablillos y duendes que la tradición popular asegura, que allí vivió el diablo Rascarabia, transformado en un mico que a las doce de la noche lanzaba aullidos lastimero con los que asustaba a las mujeres del barrio.
También estaba el terrible y muy violento duende Narilargo, que se apoderó de la Torre y todas las noches recorría el adarve y apedreaba a los que pasaban junto a la muralla o entraban por el Arco de la Macarena. Leyenda o realidad, no deja de ser otra curiosa historia de las tantas que la ciudad puede presumir de contar.
