Помещение библиотеки было пристроено к северному фасаду собора XIII века в 1492 году для хранения манускриптов из коллекции Энио Сильвио Пикколомини, архиепископа Сиенского и будущего папы Пия II. Событиям его жизни посвящено десять композиций, которыми Пинтуриккьо (1454-1513) украсил стены библиотеки в 1503-1508 годах. Им же исполнены фрески плафона библиотеки.