关于烂柯山的传说，古书上的记载比较简单，流传在当地的民间传说，却详尽生动，引人入胜。传说在很早以前，衢州府有户人家，全家三口人，一个瞎子嬷嬷和孙子、孙女。因家境贫寒，靠孙子王质上山砍柴，勉强维持生活。一天，有两个过路人经过王质家门口，肚子饿得厉害，就向瞎嬷嬷借灶做饭。可是，王质砍柴未归，家中无柴。过路客人并不在意，其中一人索性把腿伸进灶里当柴烧。二人烧了一锅面条，各吃一碗，留下一大碗作酬谢，便告辞而去。王质砍柴回来，见桌上有一大碗面，捧起就吃。他从来没有吃过这么好吃的面条，就问嬷嬷是哪里弄来的。嬷嬷一五一十把事情原原本本说了一遍。王质听了感到奇怪，这时他突然发现自己家的桌子、板凳的腿全部烧焦了，顿时火冒三丈，绰起一把斧子便追赶出去。一直追到城南一座山上，也不见踪影，只见有两个人在洞里下棋。王质本来就是个棋迷，见这两人下的正起劲，就用斧头柄往地上一垫，坐在一旁看棋。这两人一边下棋一边吃桃，还掰了半个桃递给王质，王质边吃边看，没等吃完，扔在地上的桃核已发芽长成桃树。这时，两个老人提醒他说：“你还勿回去，看你的斧头柄都烂了。”王质低头一看，大吃一惊，赶紧下山回家，可是回家的路全都变了样。他边走边问，好不容易走到城里，却怎么也找不到自己的家，向街坊邻居一打听，才知嬷嬷已过世好几百年，后代玄孙的胡子都已经花白了。王质感叹地说：“山中方一日，世上几千年！”传说那两个煮面条、下棋的人，一个是铁拐李，一个是吕洞宾。从此，人们就把这座山叫做烂柯山。