La Caledonia Soul Orchestra fue la banda creada por el cantautor de Irlanda del Norte Van Morrison en 1973. La banda recibió su nombre de una toma instrumental de dieciocho minutos en el álbum His Band y Street Choir.
En 1973, Van Morrison y la Caledonia Soul Orchestra realizaron una gira de tres meses por Estados Unidos y Europa, cuyo resultado fue el álbum doble en vivo It's Too Late to Stop Now. El título está tomado de la última línea de la letra de una de las canciones de Morrison, " Into the Mystic " del álbum Moondance de 1970. En presentaciones en vivo con la Caledonia Soul Orchestra, cerraba el concierto con una versión alargada de la canción de Astral Weeks " Cyprus Avenue " y luego gritaba "¡Es demasiado tarde para parar ahora!" mientras salía del escenario.
La gira comenzó con espectáculos de calentamiento en Lions Share en el condado de Marin, California, y una aparición en el concierto de rock de Don Kirshner en abril de 1973, que culminó con dos noches en el Rainbow Theatre de Londres en julio de 1973 (votado por los lectores de la revista Q como uno de los las 100 mejores actuaciones en vivo de todos los tiempos). La gira se originó para promover el álbum de 1973, Hard Nose the Highway. Al final de la gira, incluía cuarenta canciones con doce de ellas versiones como " Bring it on Home to Me " de Sam Cooke y " Help Me " de Sonny Boy Williamson. Morrison estaba pasando por un divorcio en ese momento y la selección del material y las actuaciones apasionadas eran evidencia de su confusión interior, combinada con una nueva alegría de actuar. "Yo diría que esa gira representó el colmo de su confianza como intérprete", comentó el miembro de la banda John Platania.
Morrison disolvió el grupo, ahorrando solo unos pocos músicos para su siguiente álbum, Veedon Fleece en 1974. Algunos de los músicos originales de Caledonia Soul Orchestra permanecerían en la banda de Morrison a lo largo de los años.
John Collis en su libro, Inarticulate Speech on the Heart, comenta que "con la magnífica Caledonia Soul Orchestra en la canción, él [Morrison] alcanzó la mayoría de edad como un intérprete de escenario magnético, culminando con el lanzamiento del doble set It's Too Late to Stop Now uno de los intentos más impresionantes de exprimir la emoción escénica de un intérprete de rock en un vinilo ".