Het Museum Bredius was oorspronkelijk gehuisvest in de voormalige woning van de stichter, dr. A. Bredius, een zeventiende-eeuws patriciërshuis aan de Prinsegracht. Het huis waar het museum tegenwoordig is gevestigd, dateert uit het midden van de achttiende eeuw. Uit de gevels blijkt dat zijn ontstaansgeschiedenis nauw verbonden is met die van de twee aan de oostkant belendende panden nummer 15 en 16. De geschiedenis van de plek gaat echter verder terug. Al kort na de vestiging van het grafelijk hof in Den Haag werden Vijverberg en Voorhout plaatsen waar hoge hoffunctionarissen bij voorkeur hun huizen bouwden. Hierin ligt dan ook de oorsprong van het gedistingeerde karakter dat deze lanen uitstralen.
In de vijftiende eeuw waren de huizen die toen ter plaatse van de huidige nummers 14, 15 en 16 stonden, eigendom van voorname families. In 1652 stichtte de Friese stadhouder Willem Frederik van Nassau er in 1652 zijn hof. Het tekende het prestige dat Den Haag als zetel van de Staten-Generaal voor deze provinciale functionaris had. Door de aversie die bij de regenten tegen het stadhouderschap bestond, zou het nog tot 1747 duren voor Willem Frederiks achterkleinzoon Willem Karel Hendrik Friso als Willem IV tot stadhouder van Holland en de andere gewesten kon worden benoemd. Generaties lang hadden de Friese stadhouders hun grootste belangen dus niet in Den Haag. Het imposante, vele zalen en kamers tellende hof aan de Lange Vijverberg werd wel aangehouden, maar weinig gebruikt. Een in 1711 opgestelde inventaris laat iets van de nogal verwaarloosde toestand doorschemeren: oude tapijten in de garderobe van Zijne Hoogheid, gebarsten spiegels in de antichambre en de voorkamer, oude en versleten meubelen in de kamer van ‘Prinses Marie’, versleten behang in de eetzaal der edellieden.
