Torreby slott uppfördes 1887 av godsherren och grosshandlaren Nils Georg Sörensen. Det byggdes som ett sommarpalats, av rött tegel i romantisk nygotisk stil, efter ritningar av arkitekten Adolf Emil Melander. Slottet och parken utformades efter engelska ideal. Hus byggdes upp där gårdens arbetare med familjer fick bo. Ekonomibyggnader, en ladugård och en ångbåtsbrygga anlades vid Gullmarsfjorden samt sjöbod och varmbadhus.
År 1317 är första gången Torreby omnämns i en skriftligt. Kung Håkan Magnusson skänkte mark i Torreby och ett antal andra bohulänska gårdar till S:t Michaelskapellet i Tönsberg. Gården kom i adlig ägo i början av 1600-talet, från Maaneskiöld till släkten Bagge. Under 1600-talet övertogs godset av Rutger von Ascheberg. Den gamla herrgården byggdes till 1740 är numera privatbostad.
De speciella ”Torrebyhusen” har en karaktäristisk färgsättning i gulockra och falurött. Några hus är byggda i fornnordisk stil med utkragad övervåning och hade tidigare även drakornamentik på gavelspetsarna. På ägorna planterades cirka 2 500 fruktträd, som senare fick ge vika för golfbanan. Torreby drevs som ett mönsterjordbruk i stor skala. Familjen Sörensen tillbringade sina somrar på Torreby slott och Sörensen dog på Torreby 1917. Idag fungerar Torreby slott som restaurang och klubbstuga.