南越国时代，南越国末代王赵建德在继任国王前，其府邸在今光孝寺地。南越国亡，赵建德被捕杀，其府邸也成了荒芜之地，此后数百年再没人提起，直到三国时代，来了位名臣、经学家，这地方在岭南才又名扬起来。

这位经学家名叫虞翻（164—233），会稽余姚（今浙江余姚）人，既能言善文，又是个纠纠武夫，青年时跟随孙权的哥哥孙策南征北战打江山，立下汗马功劳。东汉建安五年（公元200年），孙策遇刺身死，孙权当时只有十八岁，继其兄据有江东六郡，面对混乱的局势，幸得虞翻献计并亲自去说服意图谋反的孙高（孙策的堂兄），才使东吴避免了一场因争权内哄引发的战祸。虞翻因而更加名声远播，被孙权任为骑都尉（率领御林兵宿卫皇帝的武官）。曹操和刘备都曾想把他罗致门下，但均遭拒绝。据说后来魏文帝曹丕曾设虚位以待，表示自己对虞翻的尊敬。

虞翻为人耿直，敢于犯颜直谏，以致多次得罪了孙权。黄武元年（222），孙权下令把他流放南海­——当年的广州被视为是蛮夷之地，把官谪贬到这里是一种惩罚。大致相当于现代人说的“流放西伯利亚”。

虞翻就这样被罢了官，但也因祸得福，以后不用再去征战沙场，也不必再忧虑官场中的尔虞我诈。他来到番禺今越秀地区，却不居城中，而是来到位于步骘城西北二里以上的赵建德故宅地（今光孝寺地，当时属城外郊野之处，早已一片荒芜），整理一番，然后安顿下来，潜心治学，著书授徒。“虽在罪放，而讲学不倦，门徒常数百人。”（《三国志·虞翻传》）这是继士燮之后又一次在岭南大规模地传播儒学文化。

当年广州偏处南疆，极为闭塞。史志载东汉熹平年间(172-177),番禺人董正在番禺聚徒讲学，这可视为广州私人讲学之始，而虞翻在虞苑讲学十年，授徒数百，则是广州私学发展的重要标志。他的居所成了当时当地的文化中心，为本地培养和造就了大批人材。推动了当地文化的发展。

在著书讲学的同时，虞翻废宅为苑囿，遍植频婆、诃子树（即诃黎勒，常绿乔木，果像橄榄，即藏青果），营造出一片翠绿园地，时人称为“虞苑”；因诃子树成片，故又称“诃林”。今光孝寺山门背面，悬挂着刻有“诃林”二字的大木匾，即源于此。据说达摩祖师曾以寺中诃树之根在洗钵泉蘸水，而令井水不咸。（当年大潮时，海水直涌至番禺城下，井水泛咸味。）

有必要说明一下，后人有称虞翻当年种的是苛树，时人称为“虞苑”，又称“苛林”。后来僧人谐音改称“诃林”，为佛家“降三世种子”的意思。民国二十四年（1935）顾光《光孝寺志》便是这样记述：“光孝寺……高宗绍兴七年，诏改天宁万寿禅寺作报恩广孝禅寺，二十一年易‘广’字为‘光’字，‘苛林’为‘诃林’。”

这“苛林”的说法疑误。因为“苛”非树名，自古至今有“诃子树”而无“苛树”。“苛”的本意是“小草”（见东汉《说文解字》及古今所有权威字典，都没有解释“苛”为树名者），“苛林”的意思便是“成片的草地”，这显然与“诃子树林”的意思相距甚远。至于说“诃林”为佛家“降三世种子”的意思，那是在《佛学大辞典》中也找不到的说法。

秦连两汉，四百馀年，广州地区找不到有关私家园林的记载，于是这“虞苑”就成了广州最古老的私园，被认为是广州园林之滥觞。不过虞翻当年并没有在这片诃树丛中搞什么园林建筑，诸如垒石山、筑亭阁、挖溪流。他看来是一位粗犷形的学者与名士，不尚精致。虞苑是以茂密的诃子树丛与古朴的幽静而成为今越秀地域的第一座私园的。

这座广州私家园林的滥觞同时又是广州寺庙园林的滥觞。

虞翻在公元223年来到广州，233年病逝，享年七十，其遗体由夫人迁葬余姚故里。虞氏家属回归故乡时，捐虞苑舍宅为寺，名制止寺（一说制旨寺，今光孝寺前身。南朝梁名僧慧恺在其《摄大乘论序》有“于广州制旨寺便就翻译”的记载）。这不但是今越秀地域的第一所佛寺，也是岭南历史上见于记载的第一所佛寺。是光孝寺的第一个名称，是广州最古老的寺院建筑，有“岭南佛教丛林之冠”之誉。以后此地逐渐形成寺庙园林。当时园址甚广，因四周多为荒地。后来光孝寺（南宋绍兴二十一年即公元1151年始定名光孝寺，）在此基础上发展到方圆几及三里，有所谓“光孝和尚，骑马上香”之谚。

在广州园林史上，今光孝寺地实在是一个具有特殊意义的地方。

。

光孝寺

后世广人祀虞翻。唐《元和郡县图志》载：“虞翻庙，在县西北三里。翻为孙权骑都尉，以数谏争，徙交州卒。”可见此庙在唐代已建。南宋《舆地纪胜》亦载：“虞翻庙，在南海县西北三里。”清雍正《广东通志》载：“虞翻庙，在城西北三里。”大概就在今光孝寺一带。清嘉庆十六年（1811），当时的广东布政使曾燠在今光孝寺内又修建了虞翻祠，以祭祀这位三国时代的名人。不过，这一庙一祠在民国时就已荡然无存了。

制止寺后来屡屡改名，并曾做过道观。直到南宋绍兴二十一年（1151）才正式定名报恩光孝禅寺，简称光孝寺——“光孝”之名自此始，并沿用至今。

光孝寺不仅是越秀地域，而且是整个广州及岭南地区年代最古，规模最大的寺院，是中国历代中外佛教文化交流中心，古代高僧经常驻足的场所。中国佛教四大译经家之一真谛法师（499—569）在此译出《佛性论》等共40部经书。菩提达摩来华传授佛法，也先“止于诃林”。六祖惠能得法南归，在此发“风幡”之论，在菩提树（今存）下削发受戒，并首演“禅宗妙义”，创立南派禅宗，光孝寺因而被尊为禅宗祖庭。今寺内犹存的东，西铁塔，铸于南汉时，是我国目前已知的最古最大且最完整的两座铁塔。至于今天每逢春节、佛节或农历初一，十五，不少人都到寺中焚香朝拜，寺里寺外，人潮涌动，摩肩接踵，道路以至为之阻塞，更可谓人所共知的了。

东晋隆安年间（397－401），继宾国（今喀什米尔）三藏法师昙摩耶舍（亦作昙磨耶舍）尊者（法明）在白沙寺讲经的同时，还在虞翻的故宅制止寺（今光孝寺前身）始建佛殿，修建了五间大殿（一说是创建大殿为五开间），据清《光孝寺志》载，时在东晋安帝隆安五年（401）。制止寺从此又名王苑朝延寺（有书籍记为“王苑朝廷寺”，误），俗称王园寺，其得名的由来是因为这里原是南越王赵建德的故宅。此寺为今光孝寺前身。现光孝寺大雄宝殿即为昙摩耶舍始建，现存建筑保留有宋代风格。大殿采用梭形柱支撑大梁，下檐斗拱承担屋顶重量的特殊结构，筑在石基高台上，精美质朴，具有典型的岭南古建筑风格，后来被南方许多寺院广泛采用。在中国现存的古代建筑中占有相当重要的地位。

昙摩耶舍创建佛殿是岭南最早修建佛殿的记载。王园寺自此成为岭南名刹、南方第一佛寺、我国古代佛教文化中心地之一。园址相传原方圆几及三里，以后才逐步缩小。所建佛殿在以后千百年的悠悠岁月里重新修葺扩建过多次，这在清代乾隆时人顾光、何淙修纂的《光孝寺志》（1769年初刻）里有详细的记载。

王园寺是广州第一座正式的寺庙园林。寺庙园林并非只指佛寺，也包括道观及纪念性祠庙园林。其特点是：创造超脱、永恒和神秘的境界，以长寿、高大乔木为主体布置园林建筑，并进一步升华为浓郁的宗教色彩，以引导芸芸众生礼佛、诗人墨客雅集，弘扬宗教。清代广州五大丛林（海幢寺、光孝寺、华林寺、六榕寺、长寿寺）都是著名的寺庙园林。

东晋元熙二年（420），恭帝司马德文让位于宋王刘裕，晋亡。中国历史进入南北朝时代。刘裕即位，国号宋，是为南朝的第一个王朝。就在当年（一说在宋元嘉十二年即公元435年），天竺（古印度）高僧求那跋陀罗（这是当代人编《全宋文》的译法。在其他古籍中又作求那罗跋陀、求那罗跋、求那跋陀、陀罗三藏、佗罗三藏、求那跋摩等等）乘商船从诸薄港（今爪哇岛）抵达今越秀地区，随后拿着手中的锡杖来到州城外西北二里地的王园寺（今光孝寺），指着寺中的诃子树对众人说：“此西方诃梨勒果之林也。宜曰‘诃林制止’。”意思是说，这些诃子树就是印度的诃梨勒果呀，这个寺应该称为“诃林制止寺”。