Zijn bezeten verzameldrift leidde er zelfs toe dat hij in 1993 de zeggenschap kwijtraakte over zowel zijn kunstcollectie als over zijn bedrijf De Ster, producent van plastic wegwerpservies en -bestek, aldus Het Financieele Dagblad. ING had daar beslag op laten leggen toen Ritman na het uitbreken van de Golfoorlog niet langer de schulden kon aflossen die hij was aangegaan voor zijn kunst.

Pas na jarenlange juridische procedures werd de vete in 1999 beslecht, schrijft de zakenkrant. De Ster werd verkocht aan het Zweedse Duni, en Ritman kreeg zijn collectie weer terug, onder voorwaarde dat die voor Nederland behouden zou blijven. De collectie was inmiddels verklaard tot ‘cultureel erfgoed’.

Ritman wijdde een halve eeuw aan het opbouwen van de Bibliotheca Philosophica Hermetica. Hij bracht 28.000, vaak eeuwenoude, manuscripten bij elkaar over talloze occulte stromingen binnen het westerse denken. Denk aan alchemie, gnostiek, mystiek, esoterie, kabbala, vrijmetselaars en rosenkruisers. De bibliotheek dankt haar naam aan de mythische Egyptische filosoof Hermes Trismegistus, die stelde dat er iets goddelijks schuilt in ieder mens.