Již v prehistorii lidé odhalili přitažlivost této lokality, na které se dnes rozkládá Trpanj, a tak můžeme sledovat kontinuitu života na tomto prostoru od těch dávných dob až dodnes.
Na svazích pahorku Gradina, který dominuje přístavišti, byly nalezeny předměty prehistorické keramiky ruční výroby, které společně se stopami kamenných zdí poukazují na to, že zde byla prehistorická osada opevněného typu.
I na pahorku sv. Roka nacházíme prehistorické pozůstatky, na nichž byl později vystavěn kostel.
Na trpanjském pobřeží římští dobyvatelé narazili na osadu ilyrských Plereů na svazích Gradiny, a na vrcholku tohoto pahorku v pozdní antice, v neklidném počátku VI. století, kdy Gótové ovládali Dalmácii, vedl byzantský císař Justinián boj o opětovné dobytí pobřeží, a aby zabezpečil mořskou cestu podél našeho pobřeží, vybudoval řadu pevností a mezi nimi i trpanjskou Gradinu.
Trpanjci jako první v Dalmácii vyžadovali, aby byla obchodní korespondence vedena v chorvatském jazyce, v době, kdy společensky exkluzivní aristokracie a měšťané s italskou výchovou popírali jakýkoli kulturní charakter jazyka širokých mas, což mělo odezvu v celé Dalmácii a vyvolávalo hněv proitalských příznivců, kteří dali Trpanjcům posměšný název "terribili farauni", což se stalo pýchou každého Trpanjce.