İlçenin kuruluş tarihi tam olarak bilinmemekle birlikte, tarihte yerleşimden Ermenice adı olan "Tatos" olarak bahsedilmiştir. 1517 tarihinde Osmanlı yönetimine katılmıştır. Kaynaklarda 1535 ve 1641 yıllarında Erzurum Eyaleti' ne bağlı bir sancak olarak görülen Tekman, 1836' daki kayıtlar ile 1864 tarihli salnameye göre de Erzurum sancağına bağlı kaza statüsünde kaydedilmiştir. 1946 yılına kadar Hınıs ilçesine bağlı bir köy iken aynı yıl ilçe yapılmıştır.