Roma ve Bizans dönemlerinde yörede kurulu kente Argyropolis (Yunanca argyros: “gümüş” ve polis: "kent" demektir.) adı verilmiştir. Yöredeki savaşların asıl sebepleri tarihi bir ticaret yolu üzerinde bulunması ve madenleriyle ün yapmış olmasıdır.
7.yüzyıl sonları ile 8. yüzyıl başlarında bölge Emevi-Bizans ve Abbasi-Bizans arasında birkaç defa el değiştirmiştir.
Halife Hz. Ömer zamanında (634-644) Erzincan ve Erzurum Arapların eline geçince Gümüşhane’de bu egemenliği tanıdı. Ancak bu egemenlik fazla sürmeden bölgede yeniden Bizans egemenliği sağlandı. Halife Hz. Osman zamanında (644~656) Gümüşhane, Bayburt, Erzurum ve Erzincan Emir Habib Bin Mesleme tarafından Bizanslılardan geri alındı. Halife Hz. Ali zamanında (656-661), Muaviye ile olan mücadeleler ile iç isyanlarla uğraşılması sebebiyle bölgede yeniden Bizans egemenliği başladı.
 Emevi Halifesi Abdülmelik zamanında (685-705) bölge tekrar Emevi yönetimi altına girdi. Ancak Halife Velid zamanında (705-715) Araplar ile Hazarlar arasındaki çatışmalarda Hazarlar başarı gösterince bölge yeniden bu durumdan istifade eden Bizanslıların eline geçti.
Abbasiler zamanında Bizans-Arap çatışmaları devam etmiştir. Bu dönemde Gümüşhane yöresi ile ilgili fazla bilgi bulunmamaktadır. Ancak Bayburt'un Bizans egemenliğinde kaldığı bilindiğine göre Gümüşhane de Bizans egemenliğinde kalmıştır diyebiliriz.
Çağrı Bey'in 1016 yılında Anadolu'ya yaptığı ilk akın sırasında Gümüşhane'ye kadar geldiği bilinmektedir. 1058'de Tuğrul Bey'in ordusu İbrahim Yinal komutasında Trabzon'a kadar akın yaparken Gümüşhane'yi de ekonomik yönden önem arzettiği için fethetmiştir.
Türkmen akınları olmadan önce Hazarlar ve Peçenekler ile Çepni Türk oymakları bölgeye yerleşmişlerdir. Çepniler 24 Oğuz boyundan biri olup Anadolu'nun fethi ve Türkleşmesinde önemli rol oynamışlardır.
13. yüzyılın ikinci yarısında Selçuklular Moğol istilası altında ezilirken Gümüşhane ve çevresinin müdafaası Çepni Türklerine kalmıştır. Rum vakayinamecisi (tarihçisi) Pataretos 14. yüzyılda Çepnilerin Tirebolu'ya vardıklarını söyler ki, bunlar Gümüşhane tarafından gelmişlerdir. Anadolu'nun fethinden sonra birçok imaret kurulmuştur. Gümüşhane ve Kelkit, Emir Mengücek Gazi tarafından kurulan Erzincan imaretine bağlanmıştır. 1164'te II. Kılıçarslan Mengücekli topraklarını Anadolu Selçuklu Devleti'ne bağladı. Anadolu Selçuklu Devleti'nde ticarete büyük önem verildiğinden tarihi bir ticaret yolu üzerinde bulunan Gümüşhane ve çevresi de önemini devam ettirmiştir.1243 Kösedağ Savaşı'nda İlhanlılar, Selçukluları yenerek buraları zaptettiler.
Anadolu, Moğolların nüfuzu altına girince Trabzon Rum İmparatorluğu bu defa Moğollara vergi vermeye başladı. Moğol nüfuzunun kırılması ve Türkmenlerin beylik kurmak için faaliyet göstermeleri neticesinde ve II. Yuannis devrinde (1280-1297) Türkmenler madenleriyle ünlü Halibya (Haldiya) kısımlarını istila ettikleri gibi Cenevizlilerle Venedikliler de İmparatorluk üzerinde iktisadi nüfuz vücuda getirmişlerdi.
 İlhanlıların son hükümdarı Ebu Said'in ölümü üzerine 1335'te Bayburt, Erzurum ile Erzincan ve Gümüşhane Celayirlilerin eline geçmiştir. 1345'te Eretnaoğulları, 1430'da Karakoyunlu hakimiyetine geçen bölgeye 1467'de Akkoyunlular hakim olmuştur.
Fatih Sultan Mehmet (1451-1481), Trabzon üzerine yürüdüğü sırada Trabzon Rum İmparatorluğunun sınırları Giresun'dan Batum'a kadar ve güney hudutlar da Bayburt ve Gümüşhane’nin kuzeyinden geçen dağ silsilesi ile çevriliydi. Osmanlılar’ın aleyhte hareketleri nedeniyle Trabzon Rum İmparatorluğu, Akkoyunlu hükümdarı Uzun Hasan'la işbirliği içine girmiştir.
1461 yılında Fatih Sultan Mehmet'in Trabzon Rum İmparatorluğuna son vermesiyle bölgede Osmanlı etkisi görülmeye başlanmıştır.
Gümüşhane, Trabzon Rum İmparatorluğunun fethedilmesinden sonra Osmanlı hakimiyetine girmiş ve bu hakimiyet 1461'den 1467'ye kadar sürmüştür. Bu tarihten sonra Gümüşhane Akkoyunluların hakimiyetine girmiştir. Bu hakimiyet 1473 yılında Fatih ile Uzun Hasan arasında vuku bulan Otlukbeli Savaşıyla sona ermiştir. Gümüşhane ilinin kuzeyindeki "Kharşit" ilk Osmanlı belgelerinde "Khas-Rudu çayı orta ve yukarılarındaki Torul ve Canıca (Gümüşhane'nin eski adı) kesiminde Akkoyunlular'a bağlı Ortodoks-Apkazlı (Abaza) "Torul Beyliği" 1474'de (veya 1478) Fatih'in Amasya'dan gönderdigi bir ordu kolu tarafından fethedilmiştir.
Yavuz 1508'de Trabzon valisi iken Anadolu'da başlayan Şii ayaklanmaları yüzünden Trabzon'dan Bayburt'a kadar uzanan bir sefer yapmıştır. Bu bölgede Safeviler lehinde ayaklanma ve karışıklık çıkaranlar Çepni Türkleridir. 16. yüzyılda onlardan bir bölümü Halep Türkmenleri, muhim bir kümede Sivas, Tokat ve Amasya bölgesindeki Ulu Yörük arasında yaşadığı gibi yine bu boya mensup pek kalabalık bir topluluk da Trabzon, Gümüşhane, Bayburt, Giresun ve Canik (Ordu ve Samsun) bölgesinde oturuyordu. İşte Safevilerin hizmetindeki Çepniler de bu sayılan topluluk ve bölgeden idiler.
 Bu karışık durumdan sonra bölgedeki sükunet ancak Şah İsmail ile Yavuz Sultan Selim (1512-1520) arasında meydana gelen Çaldıran Savaşıyla sona ermiştir. Bölge tamamen "Anadolu Türk Birliği"ne katılmıştır. (Ağustos 1514) Yavuz buraya vali olarak Bıyıklı Mehmet Paşayı bırakmıştır. Kanuni Sultan Süleyman (1520-1566) İran seferi sırasında gümüş madeninin bulunduğu Eski Gümüşhane yöresinin imar edilmesini emretmiş, böylece buraya ev ve Süleymaniye Camii yapılmıştır.
1647'de Gümüşhane'yi ziyaret eden Evliya Çelebi, buralarda gümüş madeninin çok olduğunu, çalışır ve boşaltılmış durumda 70 kadar ocak bulunduğunu bildirir. Yine bu ocaklardan 7 koldan kurşunsuz gümüş cevheri çıkarıldığını ve bu şehirde Emin Mahallesinde darphane olduğunu yazarak üzerinde "Azze nasrahu daraba fi catha" (Canca'da basılmıştır) yazılı birkaç akçenin kendisinde olduğunu bildirir.
 Gümüşhane'de doğan her çocuğun gümüşten kaşığının, çatalının ve tabağının olduğu rivayet edilir. Şehrin nüfusunun her geçen gün artmasında coğrafi konumunun, tarihi ipek Yolu üzerinde bulunmasının ve madenlerinin önemli rolü olmuştur.
Katip Çelebi, Cihannüma'sında "Kaza-i Urla" diye adlandırdığı Gümüşhane için "Urla bir güzel kazadır, yakınında gümüş olmakla Gümüşhane dahi derler" demektedir.
Maden ocakları IV. Murad zamanında (1623-1640) en canlı dönemini yaşamıştır. Bir ara kapanan ocaklar 1839 yılında yayınlanan bir hatt-ı hümayunla tekrar işletmeye açılmıştır. Ocaklar mülki amirin tayini, padişahın onayı ile atanan ve Matah Efendi denilen kişilerce yönetilirdi.
Gümüşhane 19. yüzyılda Trabzon’a bağlı bir sancaktı. Doğu Karadeniz'in iç kesimlerinde yer alan Gümüşhane Sancağı kuzeyde Trabzon merkez sancağı, doğuda ve güneyde Erzurum Vilayeti, batıda Sivas Vilayeti ile çevriliydi. 19. yüzyıla kadar rahat bir hayat sürdüren Gümüşhane yöresi, savaşlar nedeniyle tedirginlik içine düşmüş, madenlerin yeterince işletilmemesi sebebiyle de göç başlamıştır. Böylece şehir harap olmaya ve nüfus azalmaya başlamıştır. 1829 ve 1877-1878 Osmanlı-Rus Savaşı ile 7 Temmuz 1916 tarihlerinde Rusların Doğu Anadolu ve Doğu Karadeniz'de yaptıkları işgaller ve bunun sonucundaki göçler Gümüşhane’de hayat bırakmamıştır.
Ruslar 16 Temmuz 1916'da Bayburt'u aldıktan sonra yollarına devam ederek 19 (20) Temmuz 1916 günü Gümüşhane’ye girmişlerdir. Türk birlikleri fazla karşı koyamayınca Ruslar ayni gün Torul'a girmişlerdir. Böylece Trabzon yolu Ruslara açılmıştır.
22 Temmuz 1916 günü Kelkit üzerine yürüyen Rus ordusu akşama doğru burayı ele geçirmiştir.
Gümüşhane ve çevresi bu işgaller karşısında ve özellikle Ermeni zulmü altında ezilirken Rusya'da Bolşevik İhtilali'nin çıkması ve iç çalkantılar sebebiyle Ruslar 18 Aralık 1917'de Erzincan Mütarekesi'ni imzalamış ve ordularını geri çekmeyi kabul etmiştir. Ancak Ermeniler katliamlarına devam etmişlerdir. Bunun üzerine mütareke geçersiz sayılarak yeniden savaş başlatılmış ve bu suretle Torul 14 Şubat, Gümüşhane 15 Şubat ve Kelkit 17 Şubat 1918'de Rus işgalinden kurtarılmıştır.
Milli Mücadele yıllarında kıyı ile iç kesimler arasında geçiş bölgesi olması sebebiyle coğrafi önem arz eden Gümüşhane, bu dönemde Trabzon Muhafaza-i Hukuk-u Milliye Cemiyeti'nin faaliyet alanı içinde bulunmuştur. Gümüşhane delegesi Kadirbeyzade Zeki Bey bu cemiyetin ikinci başkanlığına getirilmiştir.
 23 Temmuz 1919'da toplanan Erzurum Kongresi'ne Gümüşhane'den Kadirbeyzade Zeki Bey (Gümüşhane ve Torul mümessili olarak) Erzurum Kongresi'ne katıldı. Kelkit'ten Müftü Osman Nuri Efendi, Şiran'dan Müftü Hasan Fahri (Polat) Efendi Erzurum Kongresi'nin açılış ve kapanış dualarını yapmıştır. Bu nedenle 9 Ağustos 1335 (1919)'da Mustafa Kemal, O'na yazdığı bir tezkere ile teşekkür etmiştir.
Osmanlı hakimiyetinin ilk zamanlarında Erzurum Eyaletine bağlı iken sonraları Trabzon'a bağlanan Gümüşhane sancağı 20 Nisan 1924 ve 491 sayılı kanunun 89.maddesinde "Vilayet" başlığı altındaki kanunla 1925 yılında il olmuştur.
1925-1926 tarihli Trabzon salnamesinde "Gümüşhane Vilayeti Merkez ilçe ile birlikte Bayburt, Kelkit, Torul ve Şiran olmak üzere beş ilçe, beş bucak ve 377 köyden oluştuğu, 16943 evde 101153 kişinin yaşadığı şehirde hastane olmadığı; vilayetin ticari durumunun Trabzon-Bayburt-Erzurum büyük yolu üzerinde ve İran transit yolu üzerinde bulunduğundan oldukça iyi olduğu, aslında tarım memleketi olan vilayetin bazı yerlerinde ürünleri yerel ihtiyacı karşılamadığından, halkın bir kısmının işçilik, meyvecilik ve katırcılıkla geçindiği" belirtilmektedir.
Gümüşhane'nin il olmasıyla birlikte Ahmet Durmuş (Evren-dilek) Bey vali olarak atanmıştır. Cumhuriyet döneminin ilk Belediye Başkanı ise Osman Bey (Ataç) olup 1922-1934 tarihleri arasında görev yapmıştır.  Mustafa Kemal Atatürk'ün Cumhurbaşkanlığı döneminde Gümüşhane’de yol ve köprü yapımına önem verilmiş, tarım geliştirilmeye çalışılmıştır.İsmet İnönü'nün Cumhurbaşkanlığı döneminde ise II. Dünya Savaşı patlak verdiğinden ilk dönemlerde hemen hiçbir yatırımın yapılmadığı Gümüşhane il merkezine 1948 yılında su getirilmiş, ertesi yıl da elektrik şebekesi kurulmuştur.1950'den itibaren ekonomik bir kalkınma görülmeye başlanmış, ancak daha sonra diğer illere ve hatta Avrupa ülkelerine göç olayı başlamıştır. Bayburt'un 1989 tarihinde il olması ve ayrıca yeni ilçelerin oluşturulması ile idari taksimatta değişiklik meydana gelmiştir. 1988 yılında Köse, 1990 yılında Kürtün ilçe olmuştur.