Une excellente question.
"ae" a été en latin classique, dans un premier temps, une diphtongue, c'est-à-dire deux sons prononcés dans une même émission de voix (comptant par exemple pour une seule unité, longue, dans la poésie latine, qui est fondée sur la succession des longueurs et non sur les rimes).
La graphie "Æ" se trouve dès l'époque classique (voire avant) sur les inscriptions latines. Mais ce n'est qu'une ligature (deux lettres partageant un trait) parmi des dizaines d'autres, auxquelles il faut d'ailleurs rajouter les monogrammes (deux lettre sur une seule "case", par exemple un E
dans un O), et les invrraisemblables abréviations qui pullulent... Un texte latin épigraphique (= gravé sur une pierre) ressemble très souvent aux pires SMS de mes élèves.
Le fait que "ae" ait été une diphtongue a peut-être facilité un peu la création de cette ligature graphique, dans la mesure où le rédacteur avait conscience qu'il n'y avait qu'une unité, mais il faut
surtout prendre en compte les raisons bêtement matérielles : la pierre coûte chère, Æ fait gagner une demi-place ; la taille est fatigante (prenez un burin et essayer de tracer
une seule ligne sur du beau calcaire bien dur

...), et Æ permet d'économiser une ligne.
À aucun moment la graphie Æ plutôt que AE n'est devenue une règle. On peut la trouver sur une inscription monumentale en vers parfaits payée par l'empereur comme sur une épitaphe microscopique bourrée de fautes d'orthographe (les graveurs ne savaient pas toujours lire ! Ils "dessinaient" les lettres). Ou ne pas la trouver du tout.
Il faut bien comprendre que les Romains n'ont jamais eu
besoin de marquer spécialement cette diphtongue, dans la mesure où la séquence [ae] non diphtonguée est rarissime. Sauf dans le mot "aes", très courant (le bronze) et dans quelques mots venus du grec comme "aer", l'aire (et dans ces cas-là, en théorie, on ne trouve pas Æ... Mais là encore, certains graveurs trouvaient Æ "très jolis" et décidaient d'en mettre partout !). Ils ont parfois
en sens inverse trouvé des subterfuge pour marquer les rares "ae". C'est ains qu'on écrit encore le nom propre "Ahenobarbus" dans nos manuels (en gros "à la barbe de bronze"), où le H ne sert qu'à séparer les deux lettres.
Les choses se compliquent encore un peu à partir du Ier ou du IIe siècle, car la diphtongue [ae] commence à évoluer vers le son unique [e]. Mais le phénomène est lent et complexe. Il est certainement plus rapide dans le latin populaire que dans celui des lettrés, qui savent qu'on écrit "ae" et donc tendent à prononcer ainsi. Dans les inscriptions, on commence donc à trouver tout simplement "E" à la place "AE". Mais autant que je sache, Æ n'a jamais constitué un compromis : ou bien le grapheur savait écrire et il écrivait indifféremment TERRAE ou TERRÆ suivant la place qui restait, son courage, ou ses habitudes. Ou bien il était nulle en orthographe (anachronisme : la notion même d'orthographe n'existe pas) et il écrivait TERRE.
Dans l'écriture manuscrite, en revanche (dont l'histoire est horriblement compliquée...), on a pris assez vite l'habitude d'écrire plus ou moins le E
sous le A, ce qui a assez vite ressemblé à une sorte de ε... Qui a son tour a peut-être facilité, au moyen-âge, la graphie "e"
au lieu de ae qui est parfois généralisée (le génitif de terra devient "terre").
Si je dis que les moines écrivaient le latin comme des pieds, je vais me faire taper dessus par les médiévistes du forum

D'ailleurs, il y a toujours eu des moines qui
savaient que la forme devait s'écrire "ae" ou "æ".
"æ" s'installe comme une habitude dans les différentes écritures manuscrites, mais là encore, il faut surtout y voir un fait technique (l'écriture à la plume impose la ligature). Lorsque l'imprimerie apparaît, elle suit tout d'abord les règles de l'écriture manuscrite... C'est à ce moment-là, et à ce moment-là seulement (au XVIe siècle !) que le "æ" devient presque la règle dans toutes les publications en latin.
Il le reste jusqu'au dix-neuvième siècle. Petit à petit, la norme universitaire est allée en sens inverse. Aujourd'hui, les éditions savantes du latin écrivent "ae" en deux lettres. Mais ce n'est qu'une pure affaire de convention ; et cette évolution n'est pas allée à la même vitesse dans tous les pays.
Symptomatiquement, les Britanniques ont écrit "æ" plus longtemps (je l'ai encore vu dans des publications latines savantes de la fin du XIXe siècles). Peut-être parce que le vieil-anglais avait utilisé cette ligature pour un son bien à lui (ou plus exactement : les éditeurs modernes des textes en vieil-anglais avaient généralisé la graphie æ pour rendre un son spécifique à cette vieille langue), et que donc les imprimeurs scientifiques avaient tout simplement ce caractère dans leurs casses. Encore une fois, la technique l'emporte.
L'usage moderne scientifique aussi bien que scolaire est d'écrire "terrae". En revanche, l'usage orthographique en
anglais britannique est d'écrire æ pour les mots latins
utilisés en anglais comme encyclopædia. Mais c'est alors de l'anglais, et non plus du latin.