Harput’tan, Asur ve Hitit yazıtlarında söz edilmektedir. Boğazköy’de bulunan Hititler’e ait çivi yazılı belgelerde Harput yöresi IŠUWA olarak geçmektedir. M.Ö. 19. yüzyıla ait Asurlar’ın çivi yazılı Kapadokya metinlerinde geçen KARPATAadlı yerin Harput olduğu düşünülmektedir.

Urartular döneminde Harput’a KARBERD adı verilmiştir. “KAR” taş, “BERD” ise kale anlamına gelmektedir. M.Ö. 13. yüzyıla ait bir Hitit çivi yazılı belgede Harput, HARPUTTAŞ adıyla anılmıştır. Bu belgede Harputtaş, Harziuna Ülkesi’nin dört şehrinden biri olarak gösterilmektedir. Bugünkü Harput ile Harputtaş’ın aynı yer olduğu görüşü Prof. Bossert tarafından ileri sürülmüştür. M.Ö. 9. ve 8. yüzyıla ait Hitit kitabelerinde ise Harput, HARPUTTAVANASşeklinde geçmektedir.

Urartular döneminde, M.Ö. 900–650 yılları arasında Harput’a SUPANI adı verilmiştir. Eski Yunan ve Romalılar bu ismi SUPHANE veya SOFEN şeklinde kullanmışlardır. Ünlü Alman coğrafyacılardan K. Ritter, Harput’u tüm SUPHANE eyaletinin merkezi olarak göstermiştir. Bu görüş, Lehmann Haupt tarafından da muhtemel bulunmuştur.

Arap kaynaklarında Harput ve çevresi HİNZİT, Ermeni kaynaklarında ise HANDZİT adıyla anılmıştır. Yine Arap kaynaklarında geçen, İranlılar tarafından ele geçirilen ZIATA CASTELLUM adlı yerin Harput’tan başka bir yer olmadığı kabul edilmektedir. ZIATA Kalesi’ne Arapların HISN-ı ZİYAT dediği, ZIATA’nın “Ziyad” ismine benzetildiği ve “Castellum”un Arapçadaki karşılığı olan HISN (kale) kelimesiyle örtüştüğü bilinmektedir.

Harput, bir dönem HISN-ı ZİYAT adıyla anılmış ve bu ad uzun yıllar kullanılmıştır. Bazı araştırmacılar, bu ismin yalnızca kaleye verildiğini, şehrin ise HARTABIRT olarak adlandırıldığını ve Arapçaya bu şekilde ya da bazen HATR-EL-BUYUT olarak geçtiğini ifade etmektedir.

Harput’un Elazığ’a taşınmasıyla birlikte, Elazığ'da yaşayan halk Harput’a "yukarı şehir" demeye başlamıştır.

Elazığ’ın Osmanlı dönemindeki ilk adı Mezradır. Sultan Abdülaziz döneminde şehir genişletilmiş ve buraya Mamuret’ül Aziz (Aziz’in kurduğu şehir) adı verilmiştir. Zamanla halk arasında daha kolay söylenebildiği için bu isim Elaziz şeklinde kullanılmaya başlanmıştır. 17 Kasım 1937'de Elaziz'e gelen Atatürk, şehrin adının Elazık olarak değiştirilmesini önermiştir. Bu öneri, Bakanlar Kurulu kararıyla kabul edilmiştir. “Azık diyarı” anlamına gelen bu kelime, söyleniş zorluğu nedeniyle 10 Aralık 1937 tarihli Bakanlar Kurulu kararıyla bugünkü hali olan Elazığ şeklinde resmen kabul edilmiştir.