忻都的第一波攻击就几乎把对马岛上的驻军全部歼灭了，足轻四散逃命，武士仅剩不足百人，已经重伤的守护大岛带着剩余的武士发起了最后的冲锋。
探马赤军的一个上千户见这些早已满身是伤的武士却不肯跪降，还个个高呼万岁杀上来，顿时火冒三丈，大喝一声“众军听令，弓弩齐发，准备好震天雷和弯刀，把这帮猪猡杀个干净”。
忻都登上对马岛，问了下伤亡情况，满意的点了点头，随后，伯颜也上岸了，他吩咐忻都，留下3000人在这里等候张宏范的第二波人马，其他人不必休整，马上攻向壹岐和平户。
壹岐不费吹灰之力就拿下了，但是在平户，忻都却碰上了大麻烦。
平户岛三面都是悬崖峭壁，唯一稍微平坦的地方刚好面对肥前滩头，离滩头只有数十里，随时可以得到增援，封锁这里或者可以，但是想从这里登陆却几乎没有可能。
另外3面不仅都是悬崖峭壁，而且平户岛的外滩非常狭窄且水很浅，大船完全没法靠岸，只有在潮汐到来时，才会加宽和加深，适合大船停靠，但是潮汐每天仅有2个时辰，如果这2个时辰不能攻上平户岛，那就只能等到明天。
元军从大船上卸下小船，在潮汐到来时一波一波的发起攻击，但是大多数还没登上滩头就被投石车砸中，或者被从山顶悬崖上发射的床弩火箭射中，少数登上滩头的在攀登悬崖的过程中，也大多被从崖山打下的檑木炮石和金汁所消灭。
尽管元军用尽了各种手段，但是仍然无法登上崖顶，元军伤亡惨重，而守军的伤亡并不大。
见此情景，忻都只好撤了回来，第二天又是如法炮制，还是没有什么进展，忻都开始焦虑起来，因为如果久攻不下，肥前的兵力跑来大规模增援，那就麻烦了，仅靠30几条船构成的封锁线，随时可能会被突破，一旦增援到达，平户岛再想拿下，那是难上加难。
就在忻都焦头烂额之际，伯颜到来了，伯颜原准备在对马岛等到张宏范带队过来后再到军中，但听说忻都攻击不利，所以没等张宏范到来就赶紧过来忻都军中，查看战况。