维多利亚港自古就是一个主要航道，古时就有当时的中原军队驻守。不过香港在1840年以前只是一个5000人的小渔村，有关古时的维多利亚港的文字纪录很少。据史书所说，宋朝已有军队留守，保护当时的盐商和盐的海上贩运。

　　清朝时期，英国人看中了维多利亚港有成为东亚地区大港口的优良潜力，不惜以鸦片战争来夺得香港及其优良的港口，以发展其远东海上贸易事业，也为了不让当时的其他列强占有这个有重要战略意义的优良深水港，翻开了香港成为英国殖民地的历史。

　　维多利亚港的名字，来自英国的维多利亚女王。她是英国历史上在位时间最长的君主，在位长达63年（1837—1901），她在位期间是英国强盛的「日不落帝国」时期，英国的经济、文化空前繁荣。女王登基仅三年，英国便在1840年发动第一次鸦片战争，同年强迫清政府签订了不平等的中英《南京条约》。1841年，英国占领香港岛。1860年，第二次鸦片战争后，清政府与英国签署不平等条约《北京条约》，1861年1月，英军占领九龙半岛，同年4月，将香港岛与九龙半岛之间的海港，以当时的女王而命名为维多利亚港。

　　英国人占领维多利亚港之后，在南岸（香港岛）逐渐修建了漂亮的建筑和街道，香港岛一边的维多利亚港是如此的漂亮，和当时香港的其他地方的风貌很不相同，以至于曾经有西方国家出版的百科全书把维多利亚港的香港一岸的陆地区域错误称为香港的首府，直至1970年代仍有印刷版的百科全书是这样说的，现在已经没有这样的提法。