Um 1600 wurde die ehemalige "Grotenburg" von der adligen Familie Grote erbaut (Lüneburgisches Rittergeschlecht). Diese kleine Burg, mit dem heute noch erhaltenen Burggraben, wurde auf der ursprünglichen Insel Stillhorn errichtet.
DIese Insel Stillhorn war seit dem Mittelalter im Besitz der Familie Grote, die sie ab dem Jahr 1491 komplett eingedeicht hatte.
Nach dem Tod des Johann Grote stritten sich 1658 dessen vier Söhne um das Gut und im Jahre 1672 erwarb 'Herzog Georg Wilhelm von Braunschweig-Lüneburg' (1624–1705) den adeligen Besitz von den Brüdern per Vertrag.
Die Gebrüder Groten erhielten im Tausch Geld sowie die herzögliche Domäne Kirchhof, die fortan Neuhof hieß.

Georg Wilhelm von Braunschweig-Lüneburg ließ die nunmehr zu seinem Gut gehörenden Elbinseln fortan eindeichen und nannte die Ortschaften um Stillhorn nun Wilhelmsburg.
Die im Stil eines Schlosses gebaute Burg sollte seiner Tochter Sophie Dorothea von Braunschweig-Lüneburg (1666–1726) offenbar als Wohnsitz und das Land zu ihrem Unterhalt dienen.
Sophie Dorothea wurde nach der 'Königsmarck-Affäre' (siehe auch Geschichte der Gräfin Wilhelmsburg)  schließlich auf Schloss Ahlden (Niedersachsen) verbannt.
Ihr inzwischen geschiedener Ehemann Georg Ludwig, der die "Grotenburg" 1705 von seinem Schwiegervater erbte, ließ sie jedoch verfallen. Nach dem Abriss wurde auf den Grundmauern 1724 schließlich das Amtshaus errichtet, unter dem sich noch immer das historische Kellergewölbe der 'Grotenburg' befindet.