Σύμφωνα με την παράδοση, η Παναγία έπλεε μαζί με τον Άγιο Ιωάννη τον Ευαγγελιστή από τη Γιάφα (Ιόππη) στην Κύπρο για να επισκεφτεί τον Λάζαρο. Όταν το πλοίο άρχισε να παίρνει νερά στη χερσόνησο του Άθως, αναγκάστηκε να αγκυροβολήσει κοντά στο σημερινό μοναστήρι του Ιβήρων. Η Παρθένος περπάτησε στην ξηρά και συγκλονίστηκε από την υπέροχη και άγρια φυσική ομορφιά του βουνού, την ευλόγησε και ζήτησε από τον Υιό της να είναι ο κήπος της.
Μία φωνή ακούστηκε λέγοντας: “Ας ειναι αυτός ο τόπος η κληρονομιά και ο κήπος σου, ένας παράδεισος και καταφύγιο σωτηρίας για εκείνους που θέλουν να σωθούν“. Από εκείνη την στιγμή το βουνό αφιερώθηκε στην Παναγία ή της Μητέρα του Θεού (Περιβόλι της Παναγίας) και απαγορεύτηκε η είσοδος για όλες τις άλλες γυναίκες.
Ιστορικά έγγραφα σχετικά με την ιστορία του αρχαίου Αγίου Όρους είναι ελάχιστα. Είμαστε βέβαιοι ότι οι μοναχοί ήταν ήδη εκεί από τον 4ο αιώνα. Την περίοδο αυτή ζούσαν και οι χριστιανοί και οι ειδωλολάτρες. Μετά την ισλαμική κατάκτηση της Αιγύπτου τον 7ο αιώνα, πολλοί μοναχοί από την αιγυπτιακή έρημο προσπάθησαν να βρουν άλλη στέγη και μερικοί από αυτούς ήρθαν στη χερσόνησο του Άθω. Το 866 ο Ιωάννης Κολοβός έχτισε το πρώτο μοναστικό κέντρο, τη Μεγάλη Βίγλα. Έκτοτε, το Άγιον Όρος έγινε η χώρα της μοναχικής ζωής.
Το 958 μ.Χ., ο μοναχός Αθανάσιος ο Αθωνίτης έφθασε στο Άγιον Όρος από τη Μονή Ξερολίμνης της Μικράς Ασίας. Το 962 χτίστηκε η μεγάλη κεντρική εκκλησία του «Πρωτάτου» στην Καρυές. Την επόμενη χρονιά, με την υποστήριξη του αυτοκράτορα Νικηφόρου Φωκά, ιδρύθηκε το μοναστήρι της Μεγίστης Λαύρας, το μεγαλύτερο και σημαντικότερο από τα 20 μοναστήρια που υπάρχουν σήμερα.
Η πρώτη οργάνωση του μοναστικού τρόπου ζωής γίνεται πραγματικότητα με το χάρτη (τυπικό) του Αγίου Αθανασίου, το οποίο οδήγησε στην παρέμβαση του κράτους μέσω του Ιωάννη Τσιμισκή που έδωσε τον Χάρτη (Τυπικόν) που ισχύει μέχρι και σήμερα. Αρχικά υπήρχαν μόνο μεμονωμένα μοναστήρια, αλλά αργότερα οργανώθηκαν σε μοναστικό κράτος.
Από το Βυζάντιο, η ορθόδοξη πίστη εξαπλώθηκε στα Βαλκάνια και μοναχοί από αυτά τα εδάφη έφτασαν στο Άγιο Όρος για να ιδρύσουν μοναστήρια. Γεωργιανοί μοναχοί ίδρυσαν το μοναστήρι των Ιβήρων (976), οι Σέρβοι το μοναστήρι του Χιλανδαρίου (1197) και οι Βούλγαροι το μοναστήρι του Ζωγράφου (1270).
Κατά τους πρώτους δύο αιώνες αυτής της περιόδου ιδρύθηκαν περισσότερα από 180 μοναστήρια με πάνω από 20.000 μοναχούς. Αργότερα, τα περισσότερα καταστράφηκαν από τις Σταυροφορίες και τους πειρατές.
Ακόμη και αυτοί αυτοκράτορες έχτισαν μοναστήρια. Οι Χριστιανοί βασιλιάδες των Βαλκανίων στήριξαν επίσης το Άγιο Όρος. Οι Ρώσοι ίδρυσαν και υποστήριζαν μοναστήρια. Η Ρωσία, υπό τη διακυβέρνηση του Τσάρου, παρείχε μεγάλη οικονομική βοήθεια στη μονή του Αγίου Παντελεήμονος.
Η Αθωνιάδα σχολή ιδρύθηκε το 1748, ένα φιλοσοφικό και θεολογικό σχολείο για ολόκληρη την Ελλάδα, αρχικά διευθυνόμενο από τον Νεόφυτο Καυσοκαλιβήτη και έπειτα από τον Ευγένιο Βούλγαρη (1753).
Το Άγιον Όρος ήταν αυτόνομο. Το δικαίωμα αυτό του χορηγήθηκε αρχικά από τον Νικηφόρο Φωκά και τον Ιωάννη Τσιμισκή και διατηρήθηκε μέχρι την εποχή της τουρκικής κυριαρχίας. Οι μοναχοί του Αγίου Όρους υπoβλήθηκαν στην τουρκική κυριαρχία, παρόλα αυτά αντιμετωπίστηκαν ευνοϊκά.
Το 1821 καταλήφθει από τους Τούρκους και η επανάσταση της Χαλκιδικής πνίγηκε στο αίμα. Τότε οι Τούρκοι άφησαν έναν φρουρό τον οποίο τα μοναστήρια έπρεπε να στηρίξουν. Η κατοχή του Αγίου Όρους από τους Τούρκους κράτησε μέχρι το 1830.
Το 1926, το Άγιον Όρος έγινε αυτοδιοικούμενο τμήμα του ελληνικού κράτους σύμφωνα με τη συνθήκη της Λωζάννης (1924). Σύμφωνα με αυτό, εξαρτάται από το Πατριαρχείο της Κωνσταντινούπολης και εποπτεύεται από την Ελλάδα.