因早年没有版权观念，他曾透露仅收到1万元(新台币，下同)版权费，唱片大卖后他也仅仅得到犒赏的5000元红包，他曾感叹：“谁叫那年代没版权？”

潘安邦39岁时退出歌坛，到美国洛杉矶做起了成衣生意，经营有成，后来还回台开店。他公司的一名女员工吃素、念经，告诫他：“素食是不忍众生受苦，试图想想这些动物面临宰杀时的恐惧，而且素食更有益人体身心的健康。”他从此也开始吃素、念《大悲咒》，且每每“念咒”后，客人就蜂拥而至，让他直呼神奇，更虔诚信佛。他后来主持人间卫视《人间心灯》时，发愿为佛弘法。