最早在嘉靖五年（1526年），福建的邓獠就以这个地方作为走私贸易基地，引诱南洋各国商人开始进行走私贸易。参加沿海走私贸易的寧波人，主要是盐场的“灶丁”。灶丁生活在沿海地区，他们负责採办渔课，可以借採办之名，私下製造大船下海，帮双屿港走私分子搞物资运输，有的则直接参与交易。到了1532年左右，海上私人贸易公开化。寧波人万表《海寇议》称：“十数年来，富商大贾，牟利交通，番船满海间。”这些话形象地描写了双屿港当时的国际走私贸易发达状况。在这个时间段，是海上私人贸易自由发展阶段，大多数海商都是独家经营的小商人，“承揽货物，装载而还，各自买卖”。嘉靖十八年（1539年），福建的走私商金子老入据双屿港，开始与葡萄牙人接洽，引诱葡萄牙人前来贸易。
嘉靖十九年（1540年）四月，金子老与著名海盗李光头合流，嘉靖二十一（1542年）年，金子老回到福建，没有继续出现。嘉靖二十二年（1543年），许氏四兄弟许一（松）、许二（栋）、许三（楠）、许四（梓），投奔到李光头麾下，许栋有个著名的部下，就是后来的“倭寇王”、“徽王”王直。
王直，也被称为汪直。是大明治下南直隶徽州府歙县雄村拓林人，一开始是作为盐商。经商失败后，王直於嘉靖十九年（1540年）乘海禁政策鬆缓之时，与同乡徐惟学、叶宗满等人一同赴广东进行海外贸易。
在那里，王直与葡萄牙人进行了紧密接触，积累了巨额財富。后来王直投入许栋门下，移屯至双屿港。
嘉靖二十四年（1545年）王直去到扶桑，诱带博德津、倭助、才门三名扶桑人前来双屿。失去了朝贡贸易资格，但是又迫切需要大明商品的扶桑人与王直一拍即合。这是双屿港发展史上公认的转折点。开始出现了大规模的海商集团，海商集团的形成，有其內在因素。
海上竞爭激烈，弱肉强食，迫使海商走上小船主依附大船主之路。规模小的五十只船，规模大的达一百多只船，“成群分党，分泊各港”。这些海商集团不但雇用本地的舵工、水手，还招募了一些扶桑的贫穷浪人，作为护卫家丁，同时购买枪炮以增强实力。
某些富裕的扶桑商人则出资搭股，从事海上贸易。走私贸易的集团化、国际化，使海上形势更为复杂，出现亦商亦盗现象。
当时，葡萄牙人费尔南·门德斯·平托的《远游记》中这样描绘双屿：这个城镇中除了来来往往的船上人员外，有城防司令，王室大法官，法官，市政议员，死者及孤儿总管，度量衡及市场物价监察官，书记官，巡夜官，收税官及我们国中有的各种各样的手艺人，四个公证官和六个法官。每个这样的职务需要花三千克鲁扎多购买，有些价格更高。这里有300人同葡萄牙妇女或混血女人结婚。有两所医院，一座仁慈室。它们每年的费用高达3万克鲁扎多。市政府的岁入为6000克鲁扎多。一般通行的说法是，双屿比印度任何一个葡萄牙人的居留地都更加壮观富裕。在整个亚洲其规模也是最大的。
所以，当书记员或者秘书草擬公文之时，他们总是写下这样的话：“吾王陛下的辉煌伟大、忠诚不諭的双屿镇”。葡萄牙人曾到岛上去收货。他们带著从主人手里借来的五六十个奴隶去收掛在树上晾晒的丝绸。此外，在两所大房子中，在很乾燥的环境中储藏著许多丝料。
这是看起来美好的一个港口，但这是欧洲人的殖民地，而且是非常危险的殖民地。隨著双屿一扶桑一东南亚一印度洋一欧洲这条贸易航线的建立，琉球不可避免的衰落了。《铁炮记》中的种子岛便是曾经琉球对扶桑直接贸易的港口，但是那里现在有了葡萄牙人。
武装起来的走私船可以直接对朝鲜李朝水军炮击后扬长而去。震惊之余的琉球王国也开始武装自己的港口。
在葡萄牙人到达双屿后不久，琉球人在那霸港入口的大海里填出两条石头堤坝，修建了三重城炮台，並在对面修建了屋良座森城炮台，在两个炮台之间拉起了拦海铁锁。
威胁大到朝贡国中恭