Heidenstam var något av en kvinnokarl och var gift tre gånger trots att han, främst av ekonomiska skäl, inte ville binda sig i äktenskap. Första äktenskapet ingicks 1880 med Emilia Uggla och efter det följde Olga Wiberg och Greta Sjöberg. Utöver dessa förhållanden hade han ett längre förhållande med Ellen Belfrage som födde hans son samt Kate Bang, med vilken han delade sina sista 20 år.

Emilia Uggla

Heidenstam, hans hustru Emilia Uggla och hans mor Magda, fotograferade i Kristiania 1882

1864 hade familjen Heidenstam lärt känna familjen Uggla vid en semester i Marstrand. Emilia Uggla (f.1856 i Marstrand), hade flyttat till Stockholm och när han återvände hem efter sin utlandsresa 1878 blev han mycket förtjust i henne. Efter en intensiv uppvaktning från Heidenstams sida bröt hon förlovningen med en ingenjör och förklarade för sina föräldrar att hon vill gifta sig med Verner von Heidenstam. Hennes föräldrar var kraftigt emot idén och Nils Gustaf von Heidenstam ansåg att hans son var både omogen och oduglig i största allmänhet. I augusti 1880 tillät föräldrarna bröllop som hölls i det heidenstamska hemmet den 20 oktober.

Efter bröllopet slog sig det unga paret ned i Rom och de blir uppskattade i den skandinaviska konstnärskolonin där. I juli 1881 flyttade de till Paris där Heidenstam avsåg att studera målning vid École des Beaux-Arts under Jean-Léon Gérôme. Heidenstam beslöt sig dock för att överge planerna på att bli målare och 1882 flyttade paret till San Remo och han koncentrerade sig på att skriva dikt. Från sommaren 1884 var de bosatta i kantonen Appenzell i Schweiz. Med byn Bühler som fast punkt gjorde de regelbundna resor till Frankrike och Italien, resor som Heidenstam senare skrev reseberättelser om i Från Col di Tenda till Blocksberg.

Ellen Belfrage

Efter debuten var Heidenstam en ofta sedd gäst i Stockholms litterära salonger. I maj 1888 träffade han den knappt 25-åriga Ellen Belfrage. Heidenstam blev blixtförälskad men det fanns inte mycket tid för de två att träffas. Innan han reste utomlands med sin hustru Emilia skickade han Ellen en kärleksdikt. Nästa sommar befann hon sig i Danmark på en vävkurs och i augusti kom Heidenstam dit och de två tog in på hotell. I april 1890 träffades de på nytt när Heidenstam besökte Stockholm några dagar. Därefter dröjde det över ett år innan de träffades igen; i juli 1891 befann sig Ellen Belfrage på en hushållsskola nära Omberg där Heidenstam besökte henne. Mötet resulterade i att hon blev gravid. På hösten 1891 reste hon till Rouen i Frankrike och den 31 mars 1892 föddes Nils Oluv. Heidenstam, som ju fortfarande var gift, var inte beredd att ta något ansvar utöver att betala ett årligt belopp för sonen, 500 kronor. Ellen Belfrage och sonen bosatte sig så småningom i Göteborg där Nils fick växa upp. Genom Ellen Key höll sig Heidenstam underrättad om sonen men det dröjde till 1909 innan de träffades. Nils blev ingenjör och uppfinnare och Heidenstam hjälpte honom med pengar. Ellen gifte aldrig om sig och avled 1944. Sonen Nils avled barnlös 1984.

Olga Wiberg

Efter bröllopet på Blå Jungfrun har bröllopsparet och några av gästerna fotograferats i Oskarshamn. Från vänster: Kritikern Edvard Alkman, målaren Gustaf Ankarcrona, författaren Gustaf Fröding, Heidenstams unga hustru Olga Wiberg, Heidenstam själv. Sittande: Cecilia Fröding och konstnären Albert Engström.

I oktober 1893 skilde sig Heidenstam från sin första hustru Emilia. På sommaren samma år inledde han en affär med den då 19-åriga Olga Mathilda Wiberg (1874-1951), född i Göteborg Han hade bott ensam ute i Sandhamn och varit granne till familjen Wiberg, där fadern var fängelsedirektör. Heidenstam och Olga lyckades smyga sig till hemliga möten under sommaren och när Heidenstam flyttade tillbaka till Stockholm på hösten fortsatte de förhållandet, mer eller mindre öppet. I oktober blev Heidenstams skilsmässa från Emilia klar men i brev till sin vän Oscar Levertin gjorde han klart att ett nytt äktenskap inte kunde komma på fråga; därtill är hans ekonomi alltför ansträngd.

Heidenstam och Olga Wiberg gav sig ofta ut på resor och uppenbarligen har de varit mycket förtjusta i varandra. I hans andra diktsamling Dikter handlar flera av dikterna om henne. Inför arbetet med Karolinerna åker Heidenstam iväg på en lång studieresa våren 1896 med Olga och ett förkläde, Signe Hansen, senare gift med bankiren Ernest Thiel. Resan går till Italien och sedan till Bender i Osmanska riket och därifrån till Poltava, Moskva och Sankt Petersburg. Trots att Thiel försett sällskapet med en stor reskassa telegraferade Heidenstam hela tiden efter mer pengar eftersom han köpte möbler och smycken för pengarna.

Efter hemkomsten var Heidenstam fortfarande ovillig att gifta sig med Olga Wiberg; han påstod sig vara tvungen att gardera sig inför en framtida skilsmässa som skulle kunna kosta honom minst 20 000 kronor. Å andra sidan led Olga Wiberg av skvallret och ryktena om henne och Heidenstam. Ännu en gång ställde Thiel upp och skänkte 25 000 kronor till Wiberg på hennes födelsedag. Därmed fanns inte längre hinder för äktenskap. Bröllopet blev ett av de mest omtalade på sin tid. Den 28 juli 1896 vigdes de på ön Blå Jungfrun i Kalmarsund i närvaro av Heidenstams konstnärsvänner: diktaren Gustaf Fröding, författarna Birger Mörner och Per Hallström, journalisterna Edvard Alkman och Karl Wåhlin, teaterkritikern Pehr Staaff, konstnärerna Albert Engström, J.A.G. Acke och Gustaf Ankarcrona. Efter vigselceremonin klädde alla gäster om till togor och lagerkransar. Fröding utbringade en skål för Heidenstam som "Sveriges störste nu levande diktare" och Heidenstam en skål för Fröding som "Sveriges mest populäre nu levande diktare".

Under åren därefter levde Heidenstam och Olga på olika slott och herresäten runt om i Sverige. Denna period blev också Heidenstams mest kreativa med böcker som Dikter, Karolinerna, Sankt Göran och draken, Heliga Birgittas pilgrimsfärd, Ett folk samt Skogen susar. Paret deltog i Stockholms sällskapsliv och Heidenstam engagerade sig i Frisinnade klubben och Utile Dulci. I juli 1899 köpte han pampig villa i italiensk still i Djursholm utanför Stockholm (nuvarande Björkebergavägen). Där levde de ett par år fram till 1901 när något hände mellan de två som gjorde Heidenstam sårad och hämndlysten. Förmodligen ansåg sig Heidenstam vara bedragen av sin hustru och de två separerade. Han skrev en pjäs, Spinnrocken, som inspirerades av de verkliga händelserna men hans förläggare, Karl Otto Bonnier, refuserade stycket.

På våren 1902 levde Heidenstam ensam i sin villa. I april 1903 skildes de. Olga gifte senare om sig i Danmark och verkar aldrig ha haft någon kontakt med Heidenstam därefter. Hon dog 1951 vid 77 års ålder.

Greta Sjöberg

 Greta Sjöberg omkring 1903

I närheten av Heidenstams villa i Djursholm bodde bataljonsveterinär Otto Sjöberg med hustru och tre döttrar. Heidenstam blev förtjust i äldsta dottern Greta och när de tre syskonen besökte hans villa på våren 1902 lyckades Heidenstam stjäla sig en kyss från den 16-åriga Greta. Enligt en biografi av hennes dotter Karin Österling skedde samma vår ytterligare en sak när Greta ensam besökte hans villa: "Verner förförde henne på isbjörnsfällen". Under sommaren var Greta på konfirmationsläsning i Småland men Heidenstam skickade brev och vykort till henne. På hösten fick Greta lov att utan förkläde ta pianolektioner inne i Stockholm men istället användes tiden för hemliga möten med Heidenstam. Det hela avslöjades dock snart och Otto Sjöberg krävde att Heidenstam skulle gifta sig med henne. Den 12 oktober 1903 gifte sig den 44-årige Heidenstam för tredje gången, nu med den 17-åriga Greta Sjöberg.

I början av 1903 köpte Heidenstam en äldre gård, Naddö, några kilometer söder om Vadstena. Efter bröllopet flyttade paret in där och medan Heidenstam satte igång att skriva Folke Filbyter och sedan Bjälboarvet tog hans hustru ansvaret för att göra iordning den förvildade parken och trädgården. I månadsskiftet september-oktober 1904 födde hon en son som dog vid födseln.

Greta tog på sig ansvaret för den dagliga skötseln och hushållet. På gården fanns höns, hästar, grisar, ankor och fruktträd som måste skötas. Ibland åkte paret till Paris eller Stockholm eller tog emot gäster. 1906 ägde en händelse rum som gjorde Heidenstam mycket besviken över sin hustru. Enligt Österling (1989) fick Greta besök av en ungdomskärlek som mer eller mindre våldtog henne på ett hotell i Vadstena.Enligt Gedin (2006) reste hon till Kristiania och där tog de två in på hotell som äkta par. Oavsett vad som hände tog Heidenstam mycket illa vid sig av händelsen och beslutade att de två ska skiljas. Men Greta var ovillig, några veckor bodde hon i en stuga på tomten men blev så småningom förlåten. Hon fick dock ta tillbaka sitt flicknamn och Heidenstam presenterade henne länge för omvärlden som sin husföreståndarinna. Någon skilsmässa var det dock inte tal om längre.

Heidenstam var dock fortsatt svartsjuk och bevakade om någon visade ett mer än artigt intresse för hans hustru. Greta blev alltmer olycklig och har vid åtminstone något tillfälle försökt ta livet av sig, det visar bevarade brev. Enligt Gedin (2006) var Greta otrogen med trädgårdsdrängen Gerhard och detta orsakade den definitiva skilsmässan 1916. Enligt Österling (1989) berodde brytningen på att Heidenstam i januari 1916 träffat en ny kvinna, danskan Kate Bang.

Den här gången gick skilsmässan igenom mycket snabbt och Heidenstam gick med på en generös ekonomisk uppgörelse. När han senare fick nobelpriset i litteratur överlät han halva prissumman till Greta. På sommaren 1916 gifte hon om sig med författaren Anders Österling. Greta Österling dog 1966.

Kate Bang

I januari 1916 reste Heidenstam ensam till Mössebergs vattenkuranstalt utanför Falköping. Där fanns en 24-årig danska, Kate Bang, med sina två barn och Heidenstam blev snabbt förtjust i henne. Kate Bang kom från en förmögen familj, hennes far var grosshandlare, och hon var gift, ehuru separerad, från sin make, advokaten Otto Bang. Heidenstam och Kate Bang upptäckte snabbt att de hade gemensamma intressen och Heidenstam blev snabbt mycket förälskad i henne. När hon befann sig i Danmark brevväxlade de nästan dagligen.

1918 såldes Naddö till godsägare K. G. Hedmark, men Heidenstam och Kate levde ihop, på somrarna på Odinshøj vid Aalsgaarde vid Öresund, på vintrarna på olika lånade slott eller på resa, gärna i Italien och vid franska Rivieran. Bang skilde sig från sin make 1917 men av olika anledningar gifte sig Kate Bang och Heidenstam aldrig. Han var ovillig att flytta tillbaka permanent till Sverige och försökte köpa Odinshøj men detta var inte till salu. På hösten 1923 köpte Heidenstam en bondgård norr om Motala, Övra Lid, och ritade själv ett nytt bostadshus som stod klart för inflyttning på hösten 1925. För Bangs två barn blev Heidenstam bedstefar och alla fyra kunde göra dagsutflykter till Heidenstams älskade Tiveden eller Olshammar.

På Övralid hade Heidenstam ordnat med både ett bibliotek och ett arbetsrum men han led av skrivkramp. Hans försök att skriva sina memoarer blev endast några få kapitel och i övrigt skrev han bara några få dikter. I den postuma diktsamlingen Sista dikter är de flesta dikter skrivna före 1915.