可行，很可行，事实上，很多政权的首都或者是重镇都是建在岛上，如果没有海洋或者宽阔的河流，那就建在山上。理由嘛跟题主想的也差不多，确实有很大地形优势。

试举几例:

古代商业重镇提尔城，建在岛上

迦太基首都迦太基城，建在半岛上，不过也符合题主的描述

古代埃及第一大城，亚历山大里亚，我原来以为建在地峡上，原来也是建在半岛上

法国首都巴黎，最开始建在河岛上

罗马帝国的首都君士坦丁堡建在半岛上

威尼斯首都威尼斯城建在泻湖中的礁石上

阿兹特克首都特诺奇蒂特兰城是建在湖中岛上

美国重镇波士顿也是建在岛上

同样还有著名的纽约城，建在半岛上，当时叫新阿姆斯特丹，那道城墙后来叫华尔街

荷兰首都阿姆斯特丹好像也是建在半岛上，或者这已经算个岛了？

还有俄罗斯曾经首都圣彼得堡

“1703 年 5 月 27 日，于兔子岛上举行了隆重的圣彼得堡奠基仪式；彼得大帝首先在涅瓦河三角洲的兔子岛上修建了彼得保罗要塞，驻重兵把守，以防御瑞典军队的进攻，后扩建为城”

英国在华殖民前沿哨香港，建在岛上，结合纽约，波士顿看，欧洲殖民者真的很喜欢在这种只有狭地连接的半岛上建城，有兴趣的可以去搜一下，旧金山，孟买全是这种岛屿地形，又有港口地形又安全。

丰臣秀吉政权首都大阪城，江户御所和二条御所也差不多，不放了，很多都是人工岛

爱尔兰首都都柏林，建在半岛上

还有德国首都柏林，和巴黎一样建在河岛上，回答这个问题之前我也没想到。

北欧三国首都，瑞典的斯德哥尔摩，丹麦的哥本哈根，挪威的奥斯陆，全是建在半岛上，当然作为维京王国的城市也很好理解。

斯德哥尔摩

哥本哈根

奥斯陆，原名克里斯蒂安尼亚

杭州，当过吴越国和南宋首都，建在湖河间的地峡上

如果下图没错的话，南京也属于此类

重庆，我国重镇，当过陪都。

甚至我们的首都北京，最开始建都的时候，核心也是一个岛，而且军事意义是很明显的，看到南边的团城要塞了吗。

“至元四年（1267 年），元世祖忽必烈以太宁宫琼华岛为中心营建大都”

至于建在山上的首都，也很多，罗马，耶路撒冷，雅典都是。

事实上，题主的想法真的没有大多数答主以为的那样不靠谱，人的本能还是要找一个安全的地方建造城市。因此古代城市，大多并不起源于现代大型城市所在的大河中下游平原地区，而是尽量选择岛屿，山地等我们现在看起来没什么发展潜力的地区，毕竟如果连活都活不下去，还怎么当首都。简单来说，定都不是看你想要什么城市，而是看手头有什么城市。