安徽省图书馆创建于1913年2月，前身是安徽省立图书馆。1953年4月在原皖北区合肥图书馆的基础上正式建立安徽省图书馆（馆址在合肥逍遥津公园西侧），建筑面积约1100平方米。1962年12月迁至合肥市包河公园西侧，建筑面积达6345平方米。1981年建成七层书库大楼，建筑面积增至13900平方米。1998年10月，在原址上进行了大规模的扩建，扩建后的总建筑面积达到3.69万平方米。新馆于2003年11月对外开放。

安徽省图书馆在百年的办馆历程中，收集了大量珍贵的历史文化典籍，尤其在安徽地方文献收藏方面更是独树一帜，形成了具有浓厚地域文化的藏书特色。截至2017年，馆藏文献447万余册，包括古籍线装书43,511部351,692册。其中善本3,209部32,682册，126部珍贵古籍入选前五批《国家珍贵古籍名录》。馆藏中，还建有章伯钧等安徽名人专藏。数字资源总量达155.52TB。

中国数字图书馆安徽分馆、全国文化信息资源共享工程安徽省级分中心以及安徽省古籍保护中心均设在本馆，分别承担着数字文献资源的加工收藏与服务，文化信息资源共享工程技术培训和资源建设，组织全省古籍保护工作，开展古籍普查登记、古籍修复培训和古籍保护研究等工作。在全省范围内先后建立6家分馆和48家图书服务点。

安徽省图书馆现有内设机构16个。在编职工159人，其中大专以上学历占94.9%，高级专业技术职务岗位聘任30人。

安徽省图书馆公休日、法定节假日不闭馆，全年免费对外开放，每周开放时间在70小时以上。全馆设有1659个阅览座位，信息点1500个，计算机365台 ，17个对外服务窗口，实行文献外借、阅览一体化。现有持证读者21万余人，2006年以来，已连续多年读者接待、书刊外借均突破百万大关，创造并保持了安徽省图书馆优质的服务绩效。在坚持做好传统服务的同时，以免费开放为契机，以“创先争优”为动力，不断创新服务方式，拓展服务内容，努力打造了“新安百姓讲堂”等8个公共文化服务品牌，努力体现公共图书馆为民服务“公益性、基本性、均等性、便利性”的要求。

近年来，在安徽省委省政府的高度重视和社会各界的大力支持下，安徽省图书馆的各项业务建设得到发展，综合服务能力得到整体提升。