İlçe M.Ö. III ncü yüzyılda medeniyetin kurulduğu Aras nehri civarında Salyamaç, Yolgören ve Çelikli köylerinde bulunan tarihi eserlerden anlaşılmaktadır. İlçe Bayraktar köyü civarında kurulmuştur.Daha önce Bayraktar diye tanınan ilçemiz 1071 Malazgirt zaferinden sonra Anadolu ya ayak basan Selçuklu hükümdarı Alparslan’ın öncülerinden Bayraktar Han tarafından kurulmuştur.İlçenin adı buna izafeten Bayraktar olarak kalmıştır.Bayraktar isimi ile anılan Karayazı ilçesinde halen eskiden köy olan şu anda bir mahalle olan bir yerleşim yeri mevcuttur.
        Karayazı ismi karla kaplı düzlük anlamına gelen kar yazı sözünden gelmektedir.Osmanlı döneminde Bayraktar köyü Hınıs Sancağına bağlı olarak kalmıştır.Cumhuriyetin ilanından sonra yörenin özelliği nedeni ile idari bütünlüğün sağlanması ve hizmetlerin genişlettirilmesi amacıyla T.B.M.M tarafından ilçe kurulmasına karar verilmiştir.
        1937 yılında bu gün ,köprü köy ilçesine bağlanan Çullu köyünün bulunduğu yerde ilçe merkezi kurulmuştur.İki yıl sonra ilçe merkezi şu an merkez mahalle olan Bayraktar mahallesinin kuzeyinde hükümet konağı ve Jandarma Karakolu inşa edilerek buraya taşınmış ve Karayazı ismini almıştır.
Halk arasında “Karayazı “ismini şu olaydan aldığı yaygın olarak söylenmektedir. Anlatılan efsaneye göre ;Bir kış günü Tekman ilçesinden Bayraktar’a gelen düğün alayı dönüşlerinde kar fırtınasına tutulurlar.Kırk elli kişi oldukları tahmin edilen süvarilerin tümü bu fırtınada ölürler.Yalnızca gelin kurtulmuştur.Bu acı olay üzerine gelin “Karayazım,Karayazım,budur benim yazım;ben feleğe neylerim kış oldu güzel yazım” diyerek duygularını dile getirdiği söylenir.Ancak bunu teyit eden resmi bir belge yoktur.