Panský dům, původně pozdně gotický měšťanský dům, renesančně přestavěný někdy v letech 1512-1520 pro Jana z Kunovic a koncem 17. století barokně upraven a rozšířen pravděpodobně podle plánů Domenica Martinelliho pro Dominica Ondřeje z Kounic. Budova původně sloužila jako sídlo vrchnosti a později i úřadů vrchnostenské správy uherskobrodského panství.
Po smrti posledního potomka rodu Kouniců, Evžena z Kounic, přešel Panský dům do rukou Josefa Pálffyho, jemuž objekt patřil do roku 1945, poté přešel Panský dům do užívání města.