Geboren als Alexander Thompson MacKaye in Schottland. Er ging bei einem Hersteller von Buchbinderwerkzeugen in die Lehre. Ging 1850 nach London und arbeitete für den Stempelschneider John Skirving, wo er Schriften für bekannte englische Schriftgießer wie Henry Caslon, Vincent Figgins und die Firma Stephenson Blake schnitt. 1854 nahm er das Angebot einer Vollzeitstelle bei L. Johnson & Co. in Philadelphia an, wo er seinen Nachnamen von MacKaye in Kay änderte. Er blieb 40 Jahre lang bei L. Johnson & Co. (später Binny & Ronaldson, dann MacKellar, Smith & Jordan), bis er einen Großteil seines Augenlichts durch den grauen Star verlor. Er verbrachte auch mehrere Jahre damit, in der Münzanstalt von Philadelphia Stempel für die Prägung von Münzen zu gravieren. Von den vielen römischen Münzbildern, die Alexander Kay in Philadelphia entwarf und prägte, sind seine bekanntesten die Binny Old Style und Ronaldson Old Style.