相传达摩祖师从海上经广州、南京，然后“一苇渡江”来到嵩山，在少林寺广召信徒，弘扬佛法禅宗，从此确立了少林寺作为禅宗祖庭的地位。到了唐代，少林寺又因一段“十三棍僧救唐王”的故事而声名大振，在唐王的特许下，少林寺可以拥有僧兵，自成体系的少林武术于是成为中华武术的代表之一,并博得了“天下第一名刹”的美誉。

因为有这两方面的原因，少林寺历来颇受重视，现在寺内各殿都有很多文物。其中最有价值的是寺中的壁画，最著名的有“十三棍僧救唐王”、“五百罗汉毗卢图”，色彩艳丽、构图和谐，衣袂飘飘，展示了唐代壁画的极高水准。

现在少林寺占地3万平方米，主要建筑有少林碑林、天王殿、山门、大雄宝殿、千佛殿、方丈室、钟楼、鼓楼、立雪亭等。