La partie médiévale de la ville appelée vieux Cognac s'étend des tours Saint-Jacques à l'église Saint-Léger. Dans ce quartier, proche du château des Valois, le long de ruelles pavées, s'alignent des maisons et hôtels particuliers du XVe au XVIII siècle avec des sculptures de salamandre (symbole de François Ier), des gargouilles, des façades richement décorées et des maisons à colombage.