In de buurt van de stad Qax kwamen we terecht in een grote stroom mensen, die op pelgrimstocht waren naar een kerkje op een vrij steile heuvel. Sommigen waren zelfs blootsvoets. Wij gingen mee naar boven en kwamen uiteindelijk terecht bij een oud Albaans kerkje, waar een grote hoeveelheid kaarsen werd aangestoken. Kaukasisch Albanië was een vroegere staat in de Kaukasus, op grondgebied van het huidige Azerbeidzjan, Georgië en Dagestan, die bestaan heeft tot de 9e eeuw.
De Albaniërs (niet verwant met de Albanezen op de Balkan) waren een verzameling van 26 stammen, elk met eigen taal, die zich in de 2e of 1e eeuw v.Chr. verenigden onder de Aranshahik-dynastie. De namen van de afzonderlijke stammen zijn niet bekend. Vermoedelijk waren de meeste inheemse Kaukasiërs, waarvan alleen de Udi als etnische groep nog bestaan. De Albaniërs noemden hun land vermoedelijk Aran, in Armeense bronnen wordt het vermeld als Aghuank.
In de 1e eeuw na Chr. werd de Aranshahik-dynastie vervangen door een tak van de Parthische Arsaciden (zoals ook in Armenië gebeurde) die Albanië tot het jaar 510 zou besturen. Begin 4e eeuw werd het land gekerstend vanuit Armenië door Gregorius de jongere, een nazaat van Gregorius de Verlichter. Hieruit is de Albaanse Kerk voortgekomen.