Τον 4ο αιώνα μ.Χ. ήταν χτισμένος στη θέση της Αγίας Σοφίας άλλος ναός, ο οποίος καταστράφηκε κατά τη Στάση του Νίκα το 532. Το κτίσιμο του νέου ναού αποφασίστηκε και δρομολογήθηκε από τον Αυτοκράτορα Ιουστινιανό τον Α' το 532. Αρχιτέκτονες του ναού ήταν ο Ανθέμιος από τις Τράλλεις και ο Ισίδωρος της Μιλήτου. Ο Ιουστινιανός ζήτησε από όσους το επιθυμούσαν να προσφέρουν υλικά και χρήματα για το χτίσιμο του ναού. Έτσι προσφέρθηκαν πολύτιμα μάρμαρα και σπάνια υλικά ενώ χιλιάδες εργάτες και τεχνίτες εργάστηκαν χωρίς διακοπή, έως ότου ολοκληρώσουν το έργο.
Ο ιστορικός Θεοφάνης και ο ανώνυμος χρονογράφος περιγράφουν τα εγκαίνια που τελέστηκαν στις 27 Δεκεμβρίου του 537. Τότε και σύμφωνα με το θρύλο, μόλις ο Ιουστινιανός αντίκρισε τελειωμένο το ναό προχώρησε μόνος μέχρι τον άμβωνα , εξέτεινε τα χέρια του προς τον ουρανό και ανέκραξε: "Δόξα τω θεώ τω καταξιώσαντί με τοιούτον έργον επιτελέσαι. Νενίκηκά σε Σολομών!", θέλοντας έτσι να εκφράσει το θαυμασμό του για το μνημείο το οποίο ήταν πιο θαυμαστό από τον Ναό του Σολομών στα Ιεροσόλυμα. Τριακόσια και πλέον εκατομμύρια χρυσών δραχμών, κατ΄ αντιστοιχία, είχαν δαπανηθεί για την ανέγερση αυτού του Ναού. Τα "θυρανοίξια" της Αγίας Σοφίας ακολούθησαν θυσίες χιλιάδων ελαφιών, βοών, προβάτων και ορνίθων και διανομή χιλιάδων μοδίων σίτου στους φτωχούς καθώς και πολυήμερη πανήγυρη.
