Bergambacht bestond vroeger uit twee delen, elk gebouwd op een rivierheuvel (donk). De meest noordelijke heuvel was de plek waar de kerk en de omliggende bebouwing was gesitueerd. In de tweede helft van de dertiende eeuw werd door Haparen van den Berg op de zuidelijke donk een groot, stenen huis gebouwd. Naar zijn zoon Aarnout of Arend is het slot 's Heer Aartsberg genoemd.
In de middeleeuwen was 's Heeraartsberg belangrijker dan Bergambacht, getuige onder meer de vele kaarten uit die tijd, waarop de naam Bergambacht in het geheel niet voorkomt, maar 's Heeraartsberg wèl. Nadat het geslacht van 'de Heren van den Berg' was uitgestorven, werd het slot (tezamen met het gehele dorp en de wijde omgeving) door de Graaf van Holland beleend aan zijn vriend Johan van Arkel. Volgens de meest recente inzichten, is is het eerste slot gebouwd omstreeks 1375. Het kwam in 1412 in handen van de halfzuster van Jacoba van Beieren, Beatrice. Na haar huwelijk met de Heer van Vliet (Vliet, nabij Oudewater) kwam het slot in handen van diens familie. In 1512 zijn de huizen in het dorp, de kerk en het Slot door Gelderse troepen geplunderd en in brand gestoken. In 1615 is het Slot herbouwd door de toenmalige ambachtsheer, Willem van Zuijlen van Nijevelt.