花岗岩属于硬质岩石，通常情况下轻轻一摸是不会有颗粒掉下来的。花岗岩的表面通常会非常光滑，而且具有非常高的耐磨性和耐久性。一般情况下需要用特殊的工具才能对花岗岩进行加工和切割。

因此，如果轻轻一摸有颗粒掉下来，可能表明花岗岩表面受到了严重的磨损或是由于其他原因导致了损坏。