Knihovna vznikla za podpory svitavského mecenáše a newyorského občana Valentina Oswalda Ottendorfera (1826 - 1900), z jehož peněžních darů byla ve Svitavách postavena nemocnice (1883), sirotčinec (1884) a budova veřejné knihovny a čítárny.
Valentin Oswald Ottendorfer zadal v New Yorku rakouskému architektovi Germano Wanderleyovi z Brna stavbu, která měla být důstojným reprezentantem města Svitav. Stavební práce začaly v roce 1891 a v roce 1892 byla slavnostně za Ottendorferovy přítomnosti knihovna otevřena. Budova postavená v americkém stylu stojí na místě Ottendorferova rodného domku. Ottendorfer přispěl na stavbu knihovny částkou 300.000 zlatých a dalšími 10.000 zlatých na nákup základního knižního fondu. Spolu s knihovnou nechal Ottendorfer postavit kašnu se sousoším představujícím mateřskou lásku na památku své matky (sousoší je dnes umístěno v parku Jana Palacha).
Svitavská knihovna a čítárna původně disponovala 23.000 svazky a byla ve své době největší a nejmodernější německou knihovnou na Moravě. Knihovnu navštívil v roce 1929 i první československý prezident T. G. Masaryk. Po 2. světové válce knihovna byla zčásti rozkradena a zbytek původního knižního fondu je nyní v péči městského muzea a galerie. Dochovalo se pouze 5500 svazků.
V letech 1989-1992 zde probíhala rekonstrukce budovy, které se ve Svitavách říká Ottendorferův dům nebo Červená knihovna. Ottendorferův dům při východu ze svitavského náměstí Míru patří se svým koncertním a přednáškovým sálem k nejzajímavějším budovám ve Svitavách. Od září 2008 jsou přízemní prostory domu sídlem Muzea esperanta (jediného v ČR).