诈骗犯如果不退回诈骗的钱怎么办？

依据我国《刑法》的规定，诈骗犯罪分子不退赃款的，依据犯罪的情节进行处罚，而公安机关会对赃款进行追缴并且责令退赔。

《中华人民共和国刑法》

第六十四条【犯罪物品的处理】犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔;对被害人的合法财产，应当及时返还;违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。

第二百六十六条　【诈骗罪】诈骗公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金;数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金;数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。本法另有规定的，依照规定。