Les Grecs ont emprunté leur alphabet aux Phéniciens, en l'adaptant (et en particulier, en rajoutant les voyelles) - l'alphabet phénicien ayant par ailleurs donné les alphabets hébreux puis arabe (je simplifie un tantinet...).
Le delta majuscule grec Δ dérive donc du dâleth de l'alphabet phénicien (qui se faisaient aussi en triangle mais orienté vers la gauche, quelque chose comme : <| ). Il semblerait que ce soit à l'origine le dessin d'une porte.
Du dâleth phénicien dérive aussi le dalet hébreux moderne : ד
La lettre s'appelle δέλτα (délta) en grec ancien ; comme tous les noms de lettre, il est neutre et invariable.
La forme minuscule δ est une déformation de la majuscule ; le "ductus" de la lettre, c'est-à-dire le suivi du trait quand on écrit, part toujours de la pointe du haut, descend ensuite vers la gauche, puis on fait le trait inférieur, et enfin on remonte vers le premier point ; en sommes, on fait dans l'ordre :
/
/_
/_\
Si on fait trop vite tout ça et que le troisième trait remonte un peu trop haut et qu'en plus on lui fait un petit pédoncule, on finit par arriver à δ.
Pour la "symbolique", c'est pas trop mon rayon, je suppose que les amateurs de sciences occultes en trouveront des tonnes (le triangle, les trois points, Dieu, l'ornithorynque...). Je précise juste que le sens de "delta d"un fleuve" existe déjà en grec ancien (Hérodote, Strabon, Arrien).

Mon dictionnaire précise aussi que le mot peut désigner, toujours en grec ancien, "le ventre de la femme"... Si vous voulez mon avis, je pense que c'est une pudeur de la part du dictionnaire (c'est courant avec ces très vieux dicos), et qu'il s'agit plus exactement du bas du ventre de la femme... Enfin bref, je serai pudique moi aussi, mais vous m'avez compris.