Con el correr del tiempo la población comenzó a diezmarse debido a las enfermedades, los ataques indígenas, las peleas internas y la imposibilidad de obtener una cantidad considerable de víveres. La zona estaba habitada originariamente por los querandíes, que comenzaron a atacar el fuerte causando numerosas muertes. Mendoza sufría de sífilis, y debido al agravamiento de su enfermedad dejó la expedición en manos de Domingo Martínez de Irala y volvió a España en abril de 1537, muriendo en el viaje. Mientras tanto, al continuar los problemas de aprovisionamiento, Irala ordenó el abandono y destrucción del fuerte de Buenos Aires en 1541 y los habitantes del fuerte finalmente fueron trasladados a Asunción, la ciudad que el capitán Juan de Salazar de Espinosa había fundado en agosto de 1537.
Durante casi cuatro décadas todo quedó en la nada, hasta que llegó Juan de Garay desde Asunción comandando una expedición de cien hombres -con mil caballos y quinientas vacas- el sábado 11 de junio de 1580. Del antiguo fuerte no quedaban rastros, de manera que Garay volvió a fundarlo con el nombre de Santísima Trinidad y Puerto de Nuestra Señora del Buen Ayre. El nuevo poblado estaba constituido por 135 manzanas, cubriendo la superficie delimitada por las actuales Balcarce-25 de mayo hasta la avenida Independencia y por las calles Salta-Libertad hasta Viamonte.
No hubo demasiado optimismo ya que persistían los problemas que presentaban los indígenas y la falta de alimentos. El mismo hijo de Garay no vaciló en cambiar su solar ubicado en una de las principales esquinas de la plaza Mayor por una capa y unas botas zurcidas. Su padre, sin inmutarse, fijó sitio para la Catedral, el Cabildo y distribuyó el resto de las tierras entre soldados y civiles. Marcó el lugar del Real Fuerte y dividió las tierras en manzanas para solares y las más alejadas para chacras. Como la loma de "El Retiro", casa de campo que construyó Agustín de Robles durante su gobierno, de 1691 a 1700.
Puestos los cimientos del Fuerte, allí residieron los gobernadores, después los virreyes y por último, las autoridades surgidas de la Revolución de Mayo. Era un edificio cuadrangular de barro, ladrillo y piedra con un foso en tres de sus lados y un puente levadizo sobre la plaza del Mercado. A su frente, el Río de la Plata, protegía con sus bancos de arena del peligro de los piratas, ya que los escasos diez cañones del Fuerte, tan sólo se usaron para enterar al pueblo de acontecimientos más modestos: el 16 de septiembre de 1631, un inesperado cañonazo anunció que durante la noche habían desaparecido 9.400 pesos de a ocho reales de los Caudales del Fuerte. Los responsables, Pedro Cajal y su esclavo Juan Puma, quienes vivían cerca del convento de Santo Domingo, fueron apresados cuando huían con el dinero a la altura de Arrecifes y condenados a la horca.En el siglo XVIII, la plaza Mayor fue dividida en dos. La calle Defensa la cruzaba de lado a lado y servía de mercado. Para mejorar su aspecto se decidió construir una hilera de locales y utilizarlos como puestos fijos para evitar el espectáculo de las carretas cargadas de frutas, pescados y verduras. Así nació la Recova. La antigua plaza, desde el Cabildo hasta la Recova se la llamó pronto la Plaza de la Victoria, para conmemorar la lucha contra los ingleses; y desde la Recova hasta el Fuerte, Plaza del Mercado o de las Armas. El proyecto de la Recova que venía de 1766, tenía para 1802 la aprobación del virrey Del Pino. El maestro mayor de reales obras, Agustín Conde, comenzó a levantarla hasta llegar a los 74 metros de largo y 18 de ancho y fijó para siempre el color y la animación del mercado de la ciudad instalado en la Recova. Y también, el desborde del comercio y la vida fuera de los espacios que la edificación intentó vanamente delimitar.
En el otro extremo de la plaza, se divisaba el Cabildo. Una casa de dos pisos con balcón y techo de tejas, once arcadas en una planta y otras tantas arriba. El edificio, además de albergar a quienes impartían justicia y resolvían problemas municipales, también guardaba a los presos, quienes, engrillados junto a las paredes, pasaban sus horas pidiendo limosna para sobrevivir.
A todos los viajeros que por entonces llegaron a la ciudad, les llamó la atención su pintoresquismo. Existen relatos y dibujos que conservan aquel viejo sabor a exotismo, entre los que se destacan las acuarelas del marino inglés Emeric Essex Vidal.
Y entre tantas cosas que le sucedieron a Buenos Aires llegó el momento en que su vocación de comercio ocupó todos los ánimos. Manuel José de Lavardén, ganadero, hombre de negocios atento a las reformas, y poeta, al fin, auspició el primer periódico argentino que convocó a la elite porteña y liberal: el "Telégrafo Mercantil, Rural, Político-Económico e Historiográfico del Río de la Plata". Los españoles, conociendo la peligrosidad de toda palabra impresa, restringieron en 1802 su uso decretando la desaparición del periódico. Pero Juan Hipólito Vieytes, administrador de la fábrica de sebos y jabón que Nicolás Rodríguez Peña tenía ubicada en Venezuela y Lima, había preparado ya la primera edición de su "Semanario de Agricultura, Industria y Comercio" que logró eludir la censura hasta 1807.
Fue en la popular jabonería de Vieytes donde se reunían los hombres de negocios y funcionarios de la Corona con el afán de solucionar problemas cotidianos, comerciales y políticos, buscando obtener una particular libertad para sus negocios y sus vidas. Con similares limitaciones a las que por entonces había expresado el director del "Telégrafo", don Francisco Antonio Cabello y Mesa, quien deseaba para su núcleo de intelectuales, tan sólo "cristianos viejos", gente sin tacha de negro, mulato, chino, zambo, cuarterón o mestizo, (prejuicios que subsistieron a Mayo y queestuvieron reflejados hasta en los nombres de algunos regimientos). Por un lado, los hijos de españoles y por otro, los pardos y los morenos. Así, las nuevas necesidades particulares de América y del mundo, fueron el detonante del sistema colonial español.
Años después, el surgimiento de Inglaterra como país industrial, fue uno de los fenómenos clave que trajeron rápidas consecuencias y Buenos Aires debió reacomodarse a los nuevos tiempos que corrían. A pesar de todo, algunas modalidades perduraron, como la condición racial y la de vecino, que se continuaba adquiriendo al hacer constar ante el Cabildo la residencia y casa habitada o la posesión en propiedad de caballos y armas. Simultáneamente, las invasiones inglesas permitieron, mediante la masiva militarización, quebrar el monopolio de las armas en manos de los españoles. Los jefes de los improvisados regimientos salieron de los sectores adinerados que eran los únicos que podían proveer de pertrechos a la tropa. Fueron los mismos sectores que constituyeron la elite porteña que hizo su primera experiencia de poder y movilización de grandes masas en función política.
En la parroquia de Monserrat fue donde se forjaron algunas de las ideas que pronto ganaron todos los ánimos. En ese barrio, donde nacieron muchos de los hombres que sobresaldrían en breve, aún subsisten enclavados vestigios de lo que fuimos. Una historia que apuntalan sobrevivientes casonas coloniales.Acatando las disposiciones de Madrid, los jesuitas dejaron la plaza Mayor para trasladarse a la manzana comprendida entre las actuales calles Perú, Moreno, Bolívar y Alsina. Esto ocurrió en 1661 y las mismas calles tenían otros nombres: Santísima Trinidad, San Carlos, San José y San Francisco. Ahí prosiguió la joven intelectualidad sus discusiones que con los años justificó el altisonante blasón de "Manzana de las luces". Junto al templo de San Ignacio, el Colegio de los Jesuitas y posteriormente, la Universidad, la Legislatura y la Sala de Representantes, posibilitaron la convergencia de la vida intelectual y política de la época.
Y también fue en Monserrat donde se forjaron los dos proyectos que se disputaron la supremacía en la conducción revolucionaria. El del grupo que encabezaba Mariano Moreno estaba sintetizado en su "Plan de Operaciones", que apoyaba la transición hacia la industrialización mediante la participación del Estado y una política proteccionista para rechazar las manufacturas extranjeras. Este proyecto revolucionario sucumbió -a poco de florecer el 25 de mayo de 1810- a manos de un irrestricto librecambio y una total supremacía de Buenos Aires y el litoral sobre el interior, que recién lograría una Ley de Aduanas en 1835. Porque sobre aquel camino recién abierto, el representante inglés Lord Ponsomby, en carta dirigida a Manuel Belgrano, inscribió a modo de lápida: "El comercio y los intereses comunes de los individuos han formado lazos entre Europa y América que ningún gobierno ni tal vez poder alguno poseído por el hombre puedan desatar". Esa carta debió haber llegado a la actual avenida Belgrano 430, donde nació y murió el integrante de la Primera Junta de Gobierno, muy cerca de donde está su mausoleo en el atrio del templo que caminaron sus pasos en aquellos lejanos días. Bajo las mismas campanas de Santo Domingo se rindió el acorralado Estado Mayor inglés, depuso sus armas y después acompañó a Santiago de Liniers hasta el solar de la vuelta, una casona ubicada en la actual Venezuela 469, la antigua "Bajada de los Dominicos" donde tenía su hogar Martín de Sarratea. Allí, el yerno del dueño de casa, el futuro virrey Liniers, vivió desde 1807 hasta 1810. Mientras tanto, el vecindario empapado en pólvora y sudor, se agolpó ante las ventanas de altas rejas verticales. Hacía frío en aquel invierno de 1806 y el derrotado general Beresford firmó la rendición de las tropas inglesas.
No estaba en nuestro destino hablar la lengua de Londres, aunque pronto los dueños del ganado terminarían por reverenciar a su Graciosa Majestad la Libra Esterlina.