衡阳市图书馆是地（市）级综合性公共图书馆，曾多次获“全国文明图书馆”称号，1998年被文化部评为国家一级图书馆。

衡阳市图书馆于1917年由衡阳市文化界人士集资倡办，1921年元月正式开放，当时名为“衡阳县公立图书馆”。1931年开始新建馆舍，1933年3月新馆对外开放，更名为“衡阳图书馆”，馆址在现衡南县礼堂。1944年馆舍被日军炸毁，迁徙到衡阳县板桥。1945年衡阳光复后，迁回市内私立陶淑小学。1949年，衡阳解放，图书馆仍用原名，馆址在现雁城宾馆。1955年更名为“衡阳市船山图书馆”，迁至岳屏公园原二完小分部。1966年冬，更名为“衡阳市图书馆”，74年迁至现址（原市委组织部和宣传部院内），1985年新阅览大楼竣工，1996年新书库竣工，总建筑面积为10307.9平方米。

改革开放以来，市图书馆有了较大的发展。现有馆藏图书53万册，其中古籍5万余册、民国版图书1万余册以及以王船山为代表的衡阳名人著作等地方文献近2万册最具价值，所有图书都实行了计算机管理，查询迅速，借阅简便。办理借书证，只需身份证或学生证，借书不收租金。综合外借处和文艺小说外借处的图书全部实行开架借阅。

市图书馆内设办公室、采编与现代技术部、辅导活动部、特色文献部、借阅部、报刊部，主要负责收集、整理、保存、开发、利用、传递文献资源，尤以地方文献为重点。2004年建立了全国文化信息资源共享工程衡阳市分中心，开通了图书馆网站，向社会公众提供数字化、网络化的电子文献信息资源服务。