Thorvaldsen havde flere kvindelige bekendtskaber gennem årene i Rom. Med italienerinden Anna Maria Magnani, fik han to børn i 1806 og 1813. I 1818 forlovede han sig med en skotsk adelsdame ved navn Frances Mackenzie of Seaforth, men kun for allerede sidst på året at indlede et nyt forhold til den tyskfødte Fanny Caspers (1787 – 1835). Denne var efter en kort teaterkarriere blevet selskabsdame for en ungarsk fyrstinde på rundrejse i Europa. Fyrstinden lagde ikke overdrevent beslag på hendes tid, så hun havde rig lejlighed til i Rom at dyrke sine egne bekendtskaber, hvortil malerinden Louise Seidler og Thorvaldsen hørte. I sine erindringer har Seidler levende beskrevet, hvordan Thorvaldsen ofte dukkede op i hendes atelier, når Fanny Caspers sad model for hende. Forholdet sluttede, da Fanny Caspers sønderknust var tvunget til at forlade Rom sammen med sin frue.
