Le château de Matsue fait partie de la dizaine de châteaux japonais d'origine encore debout.

Il a été achevée en 1611 par le seigneur local Horio Yoshiharu. En 1638, le fief et le château ont été réaffectés à une branche du clan Matsudaira, parents de Tokugawa. La tour du château a subi d'importants travaux de rénovation dans les années 1950.