Ursprünglich um ca. 1606 wurde der ehemalige "Adeliche Sitz" von der adligen Familie Grote erbaut (Lüneburgisches Rittergeschlecht).
Diese kleine Burg, mit dem heute noch erhaltenen Burggraben, wurde auf einer etwas höher gelegenen Elbinsel Stillhorn errichtet, nachdem die ursprüngliche Residenz abgebrannt war.
DIe Insel Stillhorn war seit dem Mittelalter im Besitz der Familie Grote, die sie ab dem Jahr 1491 komplett hatte eindeichen lassen.

Nach dem Tod des Johann Grote stritten sich dessen vier Söhne zunächst um das Erbe und 1650 erwarb der 'Herzog Georg Wilhelm von Braunschweig-Lüneburg' (1624–1705) den adeligen Besitz von den Brüdern Grote per Vertrag. Später kamen noch Länderein bzw. weitere, zum Teil schon eingedeichte Elbinseln dazu.
Die Gebrüder Grote erhielten im Tausch Geld sowie die herzögliche Domäne Kirchhof, die fortan 'Neuhof' hieß.

Georg Wilhelm von Braunschweig-Lüneburg ließ die nunmehr zu seinem Gut gehörenden Elbinseln fortan massiver eindeichen und nannte die Ortschaften um Stillhorn nun Wilhelmsburg.
Die im Stil eines Schlosses gebaute Burg sollte seiner Tochter Sophie Dorothea von Braunschweig-Lüneburg (1666–1726) offenbar als Wohnsitz und das Land zu ihrem Unterhalt dienen.
Sophie Dorothea wurde jedoch nach der 'Königsmarck-Affäre' (siehe auch Geschichte der Gräfin Wilhelmsburg)  schließlich auf Schloss Ahlden (Niedersachsen) verbannt.
Ihr inzwischen geschiedener Ehemann Georg Ludwig, der die "Grotenburg" 1705 von seinem Schwiegervater erbte, ließ sie jedoch verfallen. 
Nach dem Abriss wurde auf den Grundmauern 1724 schließlich das Amtshaus errichtet, unter dem sich noch immer das historische Kellergewölbe der 'Grotenburg' befindet.