Bâtie en 1834 la forteresse noire est l'un des monuments les plus fameux de Gumri. C'est un complexe des bâtiments militaires et architecturaux. Dans la partie centrale c'est la forteresse Alexandrapol avec 3 portes, au centre – le plan de l'église de Sainte Alexandra et les forts du sud et du nord, servant de protection générale d'Alexandrapol. Les chemins souterrains étaient construits pour la forteresse noire et ils mènent de la forteresse jusqu'au monument actuel de la Mère Arménie et de la forteresse rouge. La forteresse noire est incluse dans la liste des monuments non-matériels de l'histoire et de la culture de Gumri.