Ergani,Yukarı Mezopotamya’nın sayılı yerleşim birimlerinden biri olup, Akranya, Erkenin, Erkanikana, Yanari, Zülkarneyn , Arsania, Urhana, Aşat isimleri ile anılmıştır. Çayönü Örenyeri Ergani yöresinde arkeolojik kazılar XIX.yüzyılda başlamış ve günümüze kadar da devam etmiştir. 

İlçenin 7 km. güneybatısındaki Sesverenpınar (Hılar) Köyü’ndeki Çayönü’nde yapılan araştırmalar yöredeki yerleşimin MÖ.7250-6750 yılları arasında başladığını göstermiştir. Burası insanın yerleşik düzene geçiş sürecini en iyi yansıtan bir arkeoloji merkezidir. Bu bölgede, günümüzden 10.000 ile 5.000 yıl öncesi arasında kalan 5.000 yıllık dönemi ortaya koymuştur. Burada Neolitik Çağa ait örme yuvarlak evler, basit kulübeler ortaya çıkarılmıştır. 

Çayönü kazılarında bulunan en görkemli yapı “Saltaşlı Yapı” olarak bilinen yaklaşık 10 metre genişliğinde, yüzeyleri düzletilerek parlatılmış, iri kalker bloklarından olan anıtsal yapıdır. M.Ö.1220 tarihinde Büyük Hitit İmparatorluğu dağılınca, bir takım beyliklere ayrılmıştır. Asur Krallığı devrinde Ergani Asur devletine bağlı kendi başına egemen bir şehir olarak kalmıştır. Ergani MÖ.XI.yüzyılda Asurluların egemenliğinden sonra, Makedonyalılar buraya hakim olmuş, İskender’in ölümünden sonra da yöre, Seleukosların, Partların ve Romalıların arasında el değiştirmiştir. Bizanslılar ve Araplar çoğu kez burasını ele geçirmek için karşı karşıya gelmişlerdir.

Malazgirt Savaşı’ndan (1071) sonra, 1240’da Anadolu Selçukluları buraya egemen olmuştur. Timur’un Anadolu istilasından sonra Ergani Akkoyunluların başkenti olmuş, XVI.yüzyılda kısa bir süre Safevi egemenliğinde kalmış, 1515’te de Yavuz Sultan Selim tarafından Osmanlı topraklarına katılmıştır. 

XIX.yüzyılın sonlarına doğru bugünkü kentin yerinde Osmaniye ismiyle yeni bir kent oluşmuş ve eski Ergani sönükleşmiştir. Ancak buraya verilen Osmaniye ismi Adana’daki Osmaniye ile karışmış ve Cumhuriyetin ilânından sonra yeniden Ergani ismi verilmiştir. Ergani’de günümüze gelebilen tarihi eserler olarak Hz.Meryem Kilisesi bulunmaktadır.