在舍卫城南郊二公里处，有一园林，景色宜人，清雅幽静，正是设立精舍的理想地点。然而这处园林属祇陀太子所有，须达长者即与太子商议，请他让渡。太子心中不愿，于是为难他说：“只要你用黄金铺满园子，园子就属于你的。”须达长者丝毫不以为难，全心诚意照办，终于使祇陀太子感动而献出树林，由长者捐资兴建精舍。由于须达长者生平乐善好施，常常赈济贫困孤独，国中的人都尊称他为“给孤独”，这座林园也就因此定名为“祇树给孤独园”，表示祇陀太子的树林、给孤独长者建造的精舍，以纪念他们的无量功德。

祇园精舍的建造过程中，曾遭到城内许多婆罗门及外道的阻碍，在须达长者的请求下，舍利弗于是奉佛陀之命来监督工程的进行，并且应外道的挑战，举办辩论会，顺利摧伏外道。祇园精舍是佛陀在世时规模最大的精舍，占地约七甲，七层楼高，庄严富丽，环境优美，好比人间天上，胜过竹林精舍。僧房计有数百栋，此外礼堂、讲堂、集会堂、休养室、盥洗室、储藏室、诵读室、运动场、总会所等，应有尽有，设备齐全，比之憍萨罗国王宫，有过之而无不及，实为天下第一福地。建好之后，举行盛大的庆祝大会，佛陀如约接受了供养，带领弟子们来到这里安居弘法。

须达长者经常来到精舍，探望佛陀及比丘们的生活起居和健康情况，供养一切的必需品。因此，他成为佛陀时代最具代表性的在家弟子。祇园精舍也因佛陀的安居，来往度化，成为当时远近驰名的道场。佛陀后半生在此结夏及雨安居长达二十多年，因此现今流传的经典，大约有七、八成都是在这里讲说的。舍卫城也因祇园精舍的盛名，在印度诸大城市中占有重要地位。

佛陀曾在祇园精舍度过多次雨季。也曾在此园宣说多数经义。佛尝由此上忉利天为母说法九十日，优填王欲见佛，乃以旃檀刻像，波斯匿王也用黄金刻像安置在佛座。待佛由忉利天返回此地时，佛像被移置于南边的小精舍。依据法显《佛国记》的记述，精舍原有七层，国王人民竞相供养，因遭祝融，七层精舍尽化成灰，后重建为两层。