Kabla ya uhuru wa Tanganyika ofisi hii ya CAG ilifahamika kama idara ya ukaguzi wa ndani ya Tanganyika, na kiongozi wa ofisi hiyo alitambulika kama Mkurugenzi wa Ukaguzi.
Baada ya sheria ya "Exchequer and Audit Ordinance" ya mwaka 1961 jina la taasisi hii lilibadilishwa kutoka Idara ya Ukaguzi na kuwa Idara ya Malipo na Ukaguzi (Exchequer and Audit Department), pia jina la Mkuu wa Taasisi hii lilibadilika kutoka Mkurugenzi wa Ukaguzi na hatimaye kuwa Mdhibiti na Mkaguzi Mkuu wa Hesabu za Serikali (Controller and Auditor General, or CAG)
Hapo awali idara hii ilikuwa haifahamiki kwa watu wengi kutokana na uadilifu wa watumishi wengi wa serikali za awamu ya kwanza na pili. Ilianza kusikika kidogo zaidi wakati wa awamu ya tatu. Zilipofika awamu za nne, tano na hii ya sita, ndiyo imekuwa "burning issue of the time" kutokana na majizi na mafisadi yaliyojazana na kujificha ndani ya CCM.