一般认为，法国比较教育学家朱利安在1817年发表的《关于比较教育的工作纲要和初步意见》是比较教育史的开端。但是，比较教育的产生并不是一个偶然的历史事件，它是人们在长期的历史过程中以不同方式对不同地区的教育进行描述和比较的活动中逐步发展而来的。在比较教育的学科史发生以前，这些对不同地区和国家教育的描述和比较，就是比较教育得以产生的历史前提，一般将其称之为比较教育的前科学阶段。
比较教育的史前阶段，可以一直追溯到古希腊和古罗马时代。早在古希腊和古罗马时代，就有不少人由于各种原因和目的出访别国，他们往往把在别国的所见所闻记述下来，其中别国的教育就是非常重要的一部分。当然，这些记述一般只是现象的描述，缺乏解释和分析，他们的目的也只限于让别人去了解别国奇异的，不同于其他国家的事件，因此，其中也包含了满足人们的猎奇心态。基于此，美国比较教育学家诺亚和埃克斯坦将这一时期的教育比较称之为“旅行者见闻。
公元前5世纪，被称作“历史学之父”的古希腊著名历史学家希罗多德（公元前484-公元前425)在对波斯战争的评论中，就以文化比较的观点提及并评述了当时波斯的教育状况。古希腊历史学家色诺芬（Xenophon，约公元前430-公元前354)在他的《波斯国王塞勒斯传》一书中，通过对波斯和希腊教育的观察和比较，间接地赞扬了斯巴达教育的优越性。值得一提的是，色诺芬在某种程度上还把波斯的教育制度与当地的社会生活联系起来加以考察，提出了诸如教育机会均等、英才教育、品格教育等教育问题。柏拉图（Plato，公元前427～公元前347)在他的《国家篇》中也曾经拿斯巴达的教育与雅典的教育作比较，认为雅典的教育应当效仿斯巴达。古岁马哲学家、雄辩家西塞罗（Cicero公元前106-公元前43)在他的著作中也讲述了古希腊和古罗马的教育情况，并对两者在教育方法等方面的差异进行了比较。
在我国，从汉代起，就与邻近的朝鲜、日本、印度等国家有着密切的文化、教育交流。中国汉武帝时在中央创立太学，以五经博士为教官，“以养天下之士”，成为中国当时的最高学府。公元372年，这种教育制度和教育内容传到了朝鲜，高句丽开始模仿汉朝的太学，以教育子弟，传授中国的儒家经典；公元4世纪前后，百济建立了比较完善的儒学教育制度，培养了大批名儒，这些名儒还把《论语》《千字文》等传到了日本。中朝文化教育交流在唐朝尤为兴盛，公元640年，朝鲜三国向唐朝首次派遣了留学生，进入国学学习，这些留学生学成归国后把中国文化带回了本国，促进了本国文化教育的发展。
从7世纪开始，日本开始向中国派来遣隋使、留学生等，把中国的政治、文化和教育带回日本。唐朝以后，中日文化教育交流达到高峰。日本派遣的遣唐使在中国全面学习之后，把中国的各种文化教育制度及教育内容引进本国。此外，唐朝也派遣一些僧侣、学者到日本讲学，传播佛学和儒学，极大地影响了日本的文化教育。
7世纪中叶，中国的玄奘（602-664)旅行16年，最后来到佛教圣地印度，在世界闻名的那兰陀寺受学五年。回到中国后，他根据个人旅行见闻撰写的《大唐西域记》一书，详尽介绍了印度尼泊尔、巴基斯坦、孟加拉国、中亚等地的人文、历史、地理以及教育，还专门描述了这些国家和地区，特别是印度的教育制度教师、校舍和课程等。
在中世纪，由于贸易、旅行、外交活动的频繁，特别是十字军东征时期联络信息的往返，出现了许多关于其他国家民族的报道，其中有不少关于不同文化和风俗的论述。
13世纪中叶，法国的路易九世下令远征鞋靶和中国，这些远征军对魅塑和中国的状况及其居民的文化和知识进行了报道。
不过，对东方国家文化、民族特征进行描述的最有代表性的人物是意大利旅行家马可·波罗（MarcoPolo)。他访问了一些东方国家，并在中国元朝供职达17年之久。他撰写了《马可·波罗游记》一书、广泛地介绍了东方国家，特别是中国，包括教育在内的各方面情况，开启了欧洲人对中国的启蒙性认识。
威尼斯最高议会从1268年起就要求所有驻外使节详细撰写各自所在国和他们访问过的国家的报告，这一工作一直延续到16世纪。这些大使们所撰写的报告牵涉对教育情形的描述、分析和评论。被称为比较教育的真正先驱的赫勒敦（Khaldun，1332-1406)就认识到研究文化和教育差异的重要性，他极力主张进行史学研究。在关于地理和历史哲学的巨著《历史学导论》中，他强调要研究各民族以及各个地域文化和教育的重要性，并分析了东西穆斯林的文化和教育差异。
16世纪的地理大发现在一定程度上刺激了人们的海外贸易、探险、履行和传教等活动，其中对他国教育的报道也大大增加。1520年，博伊莫斯描述了欧洲、亚洲和非洲各民族的民俗和生活特点，其中也涉及了教育现象。德国学者米登多普受派遣去收集了法国、意大利、丹麦、波兰和波西米亚大学的信息。文艺复兴时期尼德兰的人文主义者、教育家伊拉斯莫（Erasmus，约1466-1536)在法国、德国、英国、意大利等国游历和任教，并对这些国家的教育做过比较，其中在英国旅居时，对英格兰的学术情况以及牛津大学和剑桥大学的教学、教育作了评论，并与意大利做了一些比较。
到了17世纪，国际交流和接触也更为频繁，旅行者们也更加有意识地对各国的教育情况进行描述和报道。义化和教育的比较在这一世纪也逐渐步人正轨。英国克伦威尔圆颅党(Roundhead)军队中指挥官威廉·布协拉顿在1634年访问了德国的莱顿大学，将它与牛津大学进行了比较，他虽然十分赞赏这所在欧洲享有较高声望的大学，但认为莱顿大学的物质条件逊于牛津大学。牛津大学解剖学教授、皇家学会缔造者威廉·佩蒂爵士在《调查国家状况的方法》一书中阐述了有关国外观察的更学术化的方法，使后来采用他的方法的旅行者更为严密地调查了学校和学生的数量、学校和课程组织等。
到18世纪末19世纪初，出现了相对成熟的教育比较。德国旅行者伯克托尔发表的论文《爱国旅游者调查研究》中不仅有关于异国教育比较的描述，而且还就旅行者感兴趣的问题设计出一份问卷。他认为，教育对人们的行为具有强有力的影响，以至于它应该被视为人类及整个社会幸福或痛苦的源泉，因此，它将引起旅行者的注意，使他们去调查形成儿童健全体魄和促进他们心灵与理解力的不同方法。在这一时期，法国也出现了一些对教育进行比较考察的文献。1763年，拉沙洛泰在他的《论国民教育》一书中，报告了俄国科学教育的进步状况，同时也描述了英、德等国教育的优越方面，以期法国的教育也能够进行变革。1776年法国哲学家狄德罗以法国的教育制度为基础，设计了一份旨在提高俄国教育质量的计划提交给了叶卡捷琳娜二世；法国大革命以后，吉伦特派领导人孔多赛代表公共教育委员会向议会提交了一份报告。根据对英国、意大利和德国的教育考察和比较，他在报告中提出了法国教育发展的建议。同时，法国的巴赛在《对国外教育和教学的不同模式考察结果的利用》一文中，对欧洲各国的教育进行了比较研究，认为法国大学的人员应该广泛出访，收集有用的教育信息。他们的这些卓有成效的工作对朱利安发表《关于比较教育的工作纲要和初步意见》有着直接的影响。
