Il est certain que le rocher fut fréquenté par les hommes de la préhistoire, mais il est difficile de dater précisément l'origine du premier établissement humain durable.
Des découvertes archéologiques faites dans le quartier de la Balance ont révélé que le site était déjà habité 4 000 ans avant notre ère, par les Chasséens, civilisation de pasteurs et d'agriculteurs qui s'étendait de l'Italie centrale à la Bourgogne. Ils sont à l'origine des premiers villages de la région.

Vers le II° millénaire avant notre ère apparaîssent les premiers objets en métal (cuivre). Les découvertes archéologiques révèlent un peuple d'agriculteurs-éleveurs d'un tempérament guerrier et qui pratique aussi la chasse.
Une stèle anthropomorphe (faite à l'image de l'homme) datant de cette époque fut découverte sur le rocher en 1961. Elle est présentée au musée Calvet.

Dès la plus haute antiquité, les peuples indigènes sont en contact avec les civilisations méditerranéennes. Le Rhône constitue une voie de pénétration commerciale pour les marins grecs, phocéens ou les commerçants étrusques en relation avec le nord de l'Europe. Il est jalonné d'oppida, lieux fortifiés, servants d'entrepôts et de comptoirs commerciaux, et permettant de surveiller la circulation fluviale.

A partir de -500 av. J.-C., la ville s'étend autour de l'oppidum bâti sur le Rocher. Elle est occupée par le peuple celto-ligure des Cavares. Les phocéens ont fondé Massalia (Marseille) vers le VI° siècle av. J.-C.. Au IV°  av. J.-C., la colonie grecque contracte des accords commerciaux avec les villes cavares d'Avignon et Cavaillon. Ces villes profitent ainsi de l'influence marseillaise qui s'étend à tout le sud-est de la France.

Le nom de la ville date de cette époque. "Aouenion", un nom d'origine cavare qui a deux interprétations : "ville du vent violent" ou encore "seigneur du fleuve" selon que la traduction est faite à partir du celte ou du ligure. Il semble toutefois que la seconde interprétation soit plus vraisemblable.