Huit ans après la première installation française, les Kalinago attaquent et la colonie s'effondre. L'île est totalement abandonnée pendant trois ans. Les chroniqueurs de l'époque, tous du côté des colons, décrivent l'événement comme un « carnage » commis par des « barbares ».

Aucune fouille systématique n'a jamais été menée ici. On leur attribue pourtant l'introduction du ricin, du corossolier et de la pomme-cannelle — des plantes embarquées comme provisions de bord, restées sur l'île après eux.

Le bourg s'appelait le Carénage — du nom du travail qu'on y faisait, réparer les coques des navires. Vers 1787, les Suédois le rebaptisent Gustavia, en hommage à leur roi.

Le blason de l'île porte les trois fleurs de lys françaises, la croix de Malte de l'Ordre de Saint-Jean, et les trois couronnes suédoises. Trois souverainetés européennes successives sur 24 km².

Sur les 3 881 habitants du port, on comptait 1 025 Blancs, 1 038 personnes de couleur émancipées et 1 818 esclaves.

Neutre pendant les guerres européennes, franc de droits, Gustavia devient un lieu de transit où l'on entrepose, spécule et pratique la contrebande — un des points d'escale du trafic d'êtres humains entre l'Afrique et les Amériques.

La Suède abolit définitivement l'esclavage à Saint-Barthélemy le 9 octobre 1847, quelques mois avant l'abolition française de 1848. Au total, 523 personnes sont libérées au cours du processus d'émancipation. Le 9 octobre est aujourd'hui la date officielle de commémoration de l'abolition à Saint-Barthélemy.

En 1877, la Suède ne veut plus de l'île : cyclones, incendie de Gustavia en 1852, budget en déficit. Après l'avoir proposée aux États-Unis et à l'Italie, Oscar II la cède à la France. Le référendum local est presque unanime : 350 voix sur 351 votants.

En 1946, sur 1 249 personnes ayant un emploi, 285 vivaient de l'agriculture. À peine la moitié des habitants savait lire et écrire. Un géographe de passage en 1947 décrivait une population « sinon de misère, au moins de gêne ». La première centrale électrique de l'île entre en service en 1962.

Un palmier sabal introduit vers 1890 a donné naissance à un artisanat tenu par les femmes : le tressage de la paille. Les plus fins chapeaux demandaient huit jours de travail. Aujourd'hui encore, des femmes de Corossol tressent la latanier.

Gréaux, Magras, Laplace, Berry, Brin, Aubin, Laurent, Garin. Les patronymes de l'île sont peu nombreux et se répètent depuis le XVIIᵉ siècle. Dans cette petite population longtemps isolée, les études démographiques montrent une forte endogamie historique.

Les secteurs de villas sont surveillés par des sociétés de gardiennage privées et inaccessibles — aux visiteurs comme aux habitants. Tout est importé : jusqu'à 400 % de surcoût sur certaines denrées. Il n'existe pas de lycée général complet sur l'île : le collège Mireille-Choisy propose notamment une classe de seconde et certaines formations, tandis que beaucoup d'élèves poursuivent ensuite leur scolarité hors de Saint-Barthélemy.

Détachée de la Guadeloupe en 2007, Saint-Barthélemy quitte l'Union européenne en janvier 2012 pour devenir un territoire associé. Elle a gardé son statut de port franc, hérité des Suédois.