据朱关莆和朱越编著的《绍兴宗教》一书中记载嘉祥寺在浙江绍兴平水镇平江村的秦望山脚下的茶山观音斗处，其东与若耶山相望，若耶溪穿越二山之间向北奔流。据佛教史料记载，嘉祥寺最初建于东晋宁康元年(373年)至晋太元三年(378)间，伟将军会稽郡守(内史)王荟为迎接高僧竺道壹居之而舍宅创建嘉祥寺。

当时，高僧竺道壹自平江(今苏州)虎丘山东适秦望山下若耶溪，与高僧帛道猷(云门寺住持)相会林下，于是纵情尘外，以经籍自娱。王荟慕道壹之风德高远，特创嘉祥寺，请其上居僧首。据《中国佛教》记载，竺道壹在嘉祥寺期间乃抽六物遗于寺，造金牒千佛像，系用薄铜板槌打而成，造像艺术也有所突破，因而受到当时社会各界的赞许。竺道壹精研佛理，博通内外，又律行清严，故四远僧尼，八方德众，咸依附咨禀，时人称为“九州都维那”。此时，佛教之般若学颇盛，乃演有六家七宗之说，而竺道壹即为“幻化宗”之代表人物。