AMEA Milli Azərbaycan Tarixi Muzeyinin yarandığı ilk gündən - 1920-ci ildən kitabxana fəaliyyət göstərir. Yeni yaranan kitabxanaya Azərbaycan tarixinə aid ədəbiyyat əldə etmək üçün ziyalılara müraciət edilmişdir. Kitabxanaya ilk daxil olan əsərlər numizmatika və epiqrafikaya aid kitablar olmuşdur. Kitabxananın nəzdində oxu zalı da fəaliyyət göstərirdi.      Kitabxana fondunu zənginləşdirən mənbələrdən biri də şəxsi kolleksiyalardan toplanan, satın alınan və bağışlanan, Sankt-Peterburqda, Moskvada, Azərbaycan tarixinə aid toplanan kitab, jurnallar idi. İldən-ilə artan kitabxananın fondu 1936-cı ildə 4700 ədəd təşkil edirdisə, 1943-cü ildə onun sayı 30 minə çatirdi. Milli Azərbaycan Tarixi Muzeyinin kitabxanasının yaranmasında və zənginləşməsində Y.Paxomov, İ.Cəfərzadə, M.Salamov, S.Qazıyev, V.Leviatov, M.Qazıyev, Z.Yampolski, Z.Bünyadov kimi alimlərin böyük rolu olmuşdur.      Hazırda “Nadir kitablar” fondunda qorunan əsərlərin biblioqrafik göstəricisinin I cildi 1728-1860-cı illərdə nəşr edilmiş, yalnız tək-tək nüsxələri qalan və ya hazırda Respublikanın heç bir kitabxanasında olmayan əsərləri əhatə edir. Bu cildə rus dilində yazılan və əsasən Sank-Peterburq, Mockva, Qazan, Tiflis, Varşava şəhərlərində nəşr edilən kitablar daxildir.      Kitabxana fondunda 1728-ci ildən 1900-cu ilə qədər olan “Nadir kitablar”,  “Акты собранные Кавказскою археографическою коммиссиею”, “Журналь министерства народнаго просвъщения”, “Нефтяное дело”, “Труды съезда нефтепромышленниковъ въ г.Баку”, “Азербайджанская сельско-хозяйственная перепись”, “Перепись Баку население”, “Ежегодникъ. Баку и его районы. Адресная и справочная книга” jurnalları, bundan əlavə 1907-1908-ci il “Molla Nəsrəddin” jurnalının nüsxələri qorunur.      Milli Azərbaycan Tarixi Muzeyinin kitabxanası Respublikanın zəngin kitabxanalarından sayılır.