Aplinkinių kaimų žmonės gerai žino šį akmenį. Apie jį pasakojama labai pagarbiai ir su meile. Sakoma, kad šiam akmeniui toks vardas duotas todėl, kad kaip karvutė žmonėms duoda pieną, taip Karvutė duoda žuvis. Žvejai, neradę žuvies kitose upės vietose, visada jos prisigaudydavo prie Karvutės.