Si l'on en croit les historiens de la province, Jacques de Guyse, Broudehoux, etc., l'origine du mot Condé (Condate mot tiré du vocabulaire gaulois) doit son nom à sa situation au confluent de la Hayne et de l'Escaut. Ce nom remonterait à 46 ou 47 avant Jésus Christ. Il est prouvé que les Romains furent les premiers à tirer parti au point de vue militaire et commercial de sa position importante, et y établirent un poste garni de retranchements, autour duquel vinrent peu à peu s'abriter les premiers indigènes. Toujours d'après nos historiens, l'ancien Condé, celui antérieur à la conquête romaine, le Vieux Condé, était situé à quelque distance de l'emplacement occupé par la ville actuelle. C'est le duc de Croy qui nous l'apprend en donnant comme preuve la découverte de massives murailles recouvertes d'une épaisse couche de vase et terre, lors des travaux effectués pour le canal du Jard en 1776.

La domination romaine se montra douce et bienfaisante dans la Nervie qui faisait alors partie de la province impériale prétorienne de Belgique : Bavay, l'ancienne capitale gauloise, étant devenue le chef lieu romain.

Par Bavay passaient sept grandes chaussées. Celle qui se trouvait le plus près de l'emplacement occupé de nos jours par Condé était celle de Bavay à Tournay qui traversait l'Escaut à Escau-pont.

Sous la domination romaine, la proximité du fleuve, le développement du commerce et l'assèchement constant de la vallée, durent retenir à demeure les Gallo-Romains. Il est probable que Condé fut un « portus », c'est-à-dire un stationnement de barques, d'importance secondaire. L'emplacement de ce portus semble encore parfaitement déterminé, c'est celui de l'ancien château, aujourd'hui arsenal, avec ses tours et ses murs, situé dans un îlot formé par les bras de la Hayne et de l'Escaut.

L'une de ces "tours démolie en 1727, porta le nom de tour de César. Son origine romaine semble douteuse, elle a du appartenir à l'enceinte primitive des IXe ou Xe siècles. Cette enceinte put succéder à un petit castrum de l'époque gallo-romaine.