鲤鱼门海峡位于维多利亚港的东面，是香港和九龙间最狭窄的水道，属战略重地。面对欧洲列强威胁，英军于1880年代在海峡南边的筲箕湾阿公岩一带兴建一系列的防御工事，包括1887年建成的鲤鱼门炮台，其主要设施包括作为核心的堡垒，和中央炮台、西炮台、渡口和反向炮台，还有一个少数留存至今的布伦南鱼雷室。

为兴建堡垒，英国皇家工程兵首先从鲤鱼门岬角上移走面积达7,000平方米的泥土，然后建造14间窖室，辟作营房、弹药库、煤仓及厨房等，最后再填回泥土，将堡垒完全隐闭起来。大部分工程在1887年完成。堡垒中央建有露天广场，供士兵集散之用。堡垒配备两门6英吋隐没式后装炮，还有壕沟环绕作为屏障。堡垒炮台加上附近多座炮台可覆盖整个鲤鱼门海峡。 1890年代，英军更在岬角海边建成布伦南鱼雷发射站，布伦南鱼雷被认为是当时世界上最先进的水下武器。

至20 世纪初，英军在鲤鱼门两岸建立新炮台，包括在鲤鱼门要塞附近的白沙湾和西湾炮台，以及对岸魔鬼山的砵甸乍和歌赋炮台，以提升鲤鱼门海峡的防卫力量；位于鲤鱼门要塞的落伍火炮则陆续被移除。

鲤鱼门地区是 1941 年香港保卫战中一个重要战场。 12月13日，守军从九龙的魔鬼山退守至香港岛后，日军即占据魔鬼山为观测点，炮轰港岛的英军设施数日。双方隔岸对峙数天，日军终在 12 月 18 日晚，兵分三路登陆香港岛鲤鱼门一带。由于双方实力悬殊，鲤鱼门炮台、鲤鱼门军营及西湾炮台在五小时内相继失守。

战后，鲤鱼门炮台已无战略价值，英军把要塞用作训练基地，至1987年全部撤走，用地交予香港政府。前市政局鉴于鲤鱼门炮台的历史价值及建筑特色，于1993年决定将之修复，并改建成一所以香港海防历史为主题的博物馆。 2000年7月25日，香港海防博物馆正式开放。