Здание головного музея – это бывший городской зал Штадтхалле, построенный в 1912 году по проекту берлинского архитектора Рихарда Зееля. Место для постройки здания было выбрано удачно – средневековая центральная часть города рядом с Королевским замком. Замковый пруд с его многочисленными зелеными насаждениями создавал спокойную атмосферу «загорода» буквально рядом с самым оживленным районом Кенигсберга.
Начиная с 18 в. здесь сформировалась зона для отдыха, прогулок, праздничных поздравлений и фейерверков. С 1907 года шли подготовительные работы, сбор финансов и строительство Городского зала. Здание, построенное с учетом требований большого города, выглядело значительно, современно и функционально. Оно включало в себя три зала . Большой на 1600 мест, названный в честь почетного гражданина Кенигсберга Теодора Кроне и предназначенный для проведения больших концертов. Малый «Керте зал», названный в честь обербургомистра города, и еще один зал, предназначенный для исполнения камерной музыки и чтения стихов, — «Гебауер зал», в честь клавирного фабриканта и основателя восточно-прусской консерватории Карла Юлиуса Гебауера, пожертвовавшего значительные финансовые средства на постройку Штадтхалле.
На первом этаже располагалось фойе, гардероб, а также кафе с выходом на террасу, с которой открывался живописный вид на Замковый пруд. Четыре лестницы вели на второй этаж, где собственно и располагались вышеперечисленные залы. В большом зале была устроена необычная сцена – в виде восходящих ступеней, так, что любому зрителю было видно, что на ней происходит.
В малый «Гебауер зал» можно было попасть через отдельный вход сбоку (теперь главный вход в музей). Внешне постройка выглядела значительно и просто одновременно: строгие классические формы, фигурная крыша, балконы над порталами. Внутреннее убранство было празднично и богато декорированным. Интерьер был украшен живописными полотнами, скульптурами, панно.
После открытия Штадтхалле стал одной из основных сценических площадок Кенигсберга. В 20-30-е ХХ столетия здесь практически ежедневно выступали различные музыкальные коллективы, симфонический оркестр Музыкальной академии; организовывались встречи с известными писателями, учеными, политиками, путешественниками.
В годы фашизма здесь проводились политические мероприятия, не вписывавшиеся в культурные традиции этого зала.
В период Второй Мировой войны здание было сильно разрушено английской авиацией в августе 1944 года. Работы по восстановлению здания велись с 1981 по 1986 год. Автор проекта – калининградский архитектор В.Г. Еремеев.
Внешний вид здания сохранен, внутри здание перестроено под музей, с экспозиционной площадью в 3,5 тысяч кв. метров.
Открытие новой экспозиции Областного историко-художественного музея состоялось 14 сентября 1991 года.