荷蘭的東印度公司在1641年就已在淡水與當地人有硫磺、鹿皮的貿易紀錄，並且派有船隻在淡水河附近巡邏。佔領雞籠地區時，就開始計畫在聖多明哥城的原址重建城池，來維持與當地的貿易。期間因為下雨、工程不順而有所延遲，1646年才完工，命名為「安東尼堡」為了紀念當時的東印度總督安東尼范迪門。當時的漢人稱荷蘭人叫「紅毛番」，而安東尼堡就被稱為「紅毛城了」。

1661年雞籠和淡水地區的巴塞人反抗，隔年荷蘭大員的長官向鄭氏投降，但是仍然有駐守在淡水、雞籠地區，直至1668年才全數撤守並毀壞城池。鄭氏政權起初沒有修復此地，到了清軍要攻打北台灣時才派人駐守稍微修繕。

1724清政府派遣淡水同知王汧加以修建，增建圍牆及東、西、南、北、四座城門，東西為大門南北為小門，不過沒有駐軍在此。嘉慶年間（約西元1800年起）才在紅毛城的河岸設立砲台，有水師駐守此地。

1861年時英國在淡水設有領事館，在1867年英國與清廷簽訂「紅毛城永久租約」永久租用紅毛城並將原本的領事館改到此處。英國將紅毛城原本灰白色的城堡外牆塗上紅色，尖形屋頂改為平台，在屋頂加雉堞，城堡東北與西南加設角樓。在南牆加露臺和雉堞、槍眼。西邊增建廚房、衛生間跟放封院。城堡內二樓充為領事辦公室、會計室、秘書室和簽證室，期間一度租借給海關做為官員的宿舍。底樓為地牢，增設四間有送食口及窺孔的牢房。1891年英國在紅毛城的東側新建一棟二層磚造洋房作為領事館官邸。英國在此地時，建築物的主體基本上仍是使用荷蘭留下的原本建物。

1895年臺灣被日本統治，但是紅毛城還是英國的領事館。直到1912年時紅毛城早就是淡水的觀光景點，日本政府在臺公布《史蹟名勝天然紀念物保存法》於1939年，沒多久便將紅毛城列為「臺北州指定史蹟」。

1941年時，爆發的太平洋戰役日本對英、美宣戰也使得領事館關閉。不過領館內的檔案和財產則將被保管到戰事結束，沒有遭到破壞。

國民政府在1945年接收臺灣，1946年英國行使「永代租借權」回到紅毛城，重新開設領事館。1950年與英國斷交，1972年，英國才完全撤離紅毛城。交由澳大利亞代管，之後也曾交給美國管理。

紅毛城九面旗的統治代表的九個政權：西班牙→荷蘭→鄭氏→清→英國→日本→澳大利亞→美國→收歸國有

台灣海關的設置源於1858年，清廷在英法聯軍之役戰敗後，和英、法簽訂「天津條約」，將臺灣開放為通商口岸。1860年之後，英國首任駐台大使到達台灣勘查適合通商的港口，台灣府海口淤塞、不利船隻停靠等等，最終決定以滬尾為通商口岸。

海關的職責以徵收進出口船隻裝載貨物的稅款，同時也擔任償還列強賠款、外債擔保的角色。1862年正是在滬尾設洋關徵稅，並興建海關官邸提供稅關長、秘書及其他海關官員居住。

最初淡水海關是由中國人管理，清廷為斷絕華人官吏貪墨的陋規和確保關稅徵收，聘洋人為稅務司總管，清廷派任的海關監督，僅能管理原來的一般事務，稅務司行政權則大部分都在洋關的手裡。

而當時的海關辦公處就在原本滬尾水師的守備署，碼頭設淡水河畔。依照當時的稅務司編制徵稅部門可分為：洋人、華人兩系統。洋人分成內班，有稅務司、副稅務司、幫辦、供事、醫師。外班，有各等總巡等驗貨、巡役。海班，資料不詳。

而淡水官署裡的洋人早期人數不多，僅能租屋，洋人與華人的起居習慣不同，就有了興建官邸宿舍的舉動，這也是此地的由來。1866年，稅務司購買到現在官邸和附近土地，於1869年由副稅務司長著手進行規畫和興建官邸，陸續完成三座洋樓，提供司長、秘書和部屬居住，淡水人稱為「埔頂三塊厝」。

「埔頂三塊厝」在1884年清法戰爭西仔反戰役的淡水戰區，淡水沿岸遭法軍砲擊，炸毀部屬所居住的房舍。1895年中日甲午戰爭所簽訂的「馬關條約」，將臺灣割讓給日本。日本稅關鑑定官登陸基隆，到達淡水時，淡水海關稅務司向日方表示：「大清帝國海關屬於赫德管轄，清廷僅支付海關人員薪俸、房租及其他雜費，每月三千兩而已，海關業務形同包稅制度，所有房屋、地產等均屬於赫德的私產。」日本查證結果，淡水海關官舍土地一區確有登記在赫德名下，經雙方不斷的交涉後，日本方面購回淡水和基隆海關，結束淡水海關的關務，將淡水、基隆兩海關正式移交給日本。

1900年時海關將已毀的職員官舍重建，日本稅關長在此成立「五十會俱樂部」，成為關員休憩、聯誼、打球、進食的場所，讓官邸形成不一樣的生機。二戰時兩官邸作為淡江中學租給學生的宿舍、變成學生的「行寮」。直至大戰末期不再作為行寮後，官邸逐漸荒廢成淡水人稱的鬼屋。