Göle, Küçük Ardahan Sancağı adı ile 1551'de Erzurum'a, 1579'da Kars Eyaletine bağlanmıştır. 1830'da Merkezi Dedeşen Köyü olarak Çıldır Sancağına, 1866'da nahiye olarak Ardahan Kazasına bağlanmıştır. 1878'de Rus işgalinden sonra kaza merkezi Merdinik Köyü (şimdiki İlçe Merkezi) olmuştur. 30 Eylül 1920'de Rus İşgalinden kurtulan Göle İlçe Merkezinde Belediye teşkilatı 1926'da kurulmuştur. En son olarak ilçemiz 27.05.1992 tarihinde 3806 Sayılı Kanun ile Ardahan İline bağlanmıştır.