Cumhuriyetin ilanından sonra Başöğretmenim Atatürk’ün emirleri doğrultusunda yurt sathında başlatılan eğitim öğretim seferberliğinden Bayburt ili de kendine düşen payı almıştır. Bayburt’un en büyük mahallelerinden biri olan Zahit mahallesinde, eskiden mezarlık alanı olarak kullanılan 3257 metrekarelik bir alanda okulun yapılmasına karar verilmiştir. Yapımına 1962 yılında başlanmış olup, 5 derslikli bir ilkokul yapılmıştır.

          Eğitim-öğretime 1962 -1963 yılında başlanmıştır. Okulun ilk açıldığı zaman adı Bayburt’un kurtuluş günü olan “21 Şubat” okulumuza isim olarak verilmiştir. 21 Şubat İlkokulu olarak 1964–1965 öğretim yılına kadar bu isimle eğitim-öğretime devam etmiştir. İlimize daha önceki yıllarda Kurtuluş İlkokulu adıyla kurulan başka bir okulun olması nedeniyle bu iki okulun anlamlarını aynı olması nedeniyle okulumuzun ismi 1964–1965 öğretim yılında Başöğretmen Atatürk’ün adı okulumuza verilerek Atatürk İlkokulu olmuştur. 1992 yılında Türkiye genelinde 8 yıllık temel eğitime geçilmesi nedeniyle okulumuzun adı Atatürk İlköğretim Okulu olarak kayıta geçmiştir.

           Eski okul binası eğitim-öğretime elverişli olmadığından 1985 yılında yıkılarak yerine bugünkü binası inşa edilerek 1987 yılında hizmete açılmıştır.
Okulumuz ilk olarak Kemal ŞAKAR müdürlüğünde eğitim-öğretime başlamıştır. Daha sonra sırası ile Hanefi AĞIN, İhsan Tahsin AYDIN, Bahattin DİNÇER müdürlük görevinde bulunmuşlardır. Okul müdürlüğünü, 1984 yılından beri Zarif ARSLAN yürütmektedir. Müdür yardımcılığını ise Sefa OZAN yapmaktadır.

        Okulumuz bugün 1’i Ana Sınıfı, 10’u 1.Kademe, 6’sı d 2.Kademe olmak üzere 17 sınıf, 1 Bilgi Teknoloji Sınıfı, 1 Fen laboratuvarı, 1 Yabancı Dil Sınıfı, 1 Teknoloji Tasarım Sınıfı bulunmaktadır.
Okulumuz halen 1 Müdür, 1 Müdür yardımcısı, 10 sınıf öğretmeni(2’si görevlendirme), 8’i kadrolu, 4’ü görevlendirme olmak üzere 12 branş öğretmeni ve 312 mevcuduyla eğitim öğretime devam etmektedir.