Meglehet, valóban nem volt népszerű, hősies szent, mint I. Szent László, sem olyan bátor és melegszívű, mint Lajos, de vitathatatlanul tehetséges diplomatának bizonyult. Uralkodása alatt az ország az európai politika középpontjába került, udvarában magas színvonalú kulturális tevékenységek folytak. A bölcs császár azonban kissé talán túlzottan is kedvelte a hölgyek társaságát.
Ez a szenvedélye néha császárhoz méltatlan, olykor botrányos viselkedésre sarkallta, és persze rengeteg pletykának is alapot adott. Ezek közül az egyik leghihetetlenebb az a történet, amelyet maga Mátyás király is terjesztett. A pletyka szerint ugyanis Hunyadi János, a későbbi kormányzó a bővérű uralkodó egy szerelmi kalandjának gyümölcse. A légyott után Zsigmond király egy gyűrűt adott a nemeshölgynek, (egyes változatok szerint Erzsének), és meghagyta neki, hogy ha gyermekük születne, mutassa be a csecsemőt és vele együtt a gyűrűt, innen fogja felismerni őt. A nemeshölgy kisfiút szült, akit Jánosnak nevezett el, és bátyjával együtt fel is kerekedett, hogy megmutassa a királynak. Útközben a gyermek a gyűrűvel játszott, ám egy holló elragadta tőle. Még szerencse, hogy a nagybácsi résen volt, és lenyilazta a madarat, így Zsigmond felismerte a fiát. Ez minden bizonnyal a kor egyik legszaftosabb pletykája lehetett. Ami pedig a valóságot illeti, Zsigmond nem csak gyűrűkkel kedveskedett a hölgyeknek, de akár egész városokat is kész volt elajándékozni, ha egy szempár megigézte.
Hatalmas szenvedélye még idős korában sem hagyott alább. Sőt, még fejedelmi vendégeit is megbotránkoztatta, amikor az egész menetet meg kellett állítani, ha a császár szeme megakadt egy-egy csinos teremtésen. Jean Monsterelt rosszallóan számol be arról, hogy „ez az eszelős apóka” a párizsi udvarban aranygyűrűket osztogat az udvarhölgyeknek, akik elnyerték a tetszését. Eközben felesége, Cillei Borbála daliás lovagjai társaságában „keresett vigaszt”.
Hiába volt nagy és tehetséges uralkodó, szenvedélye miatt Tinódi históriás énekében éppenséggel nem mint bölcs és igazságos uralkodó tűnik fel. A szerző a pokolban jeleníti meg Zsigmond királyt, ahogy egy kádban ücsörög meztelen örömlányokkal, alóluk pedig lángok csapnak elő, így várnak büntetésükre.
