张安乐爱穿唐装，戴无框眼镜，气质可以用温文儒雅来形容。
采访张安乐，无论如何也绕不开一些他的早期“黑”历史。对此，他并不回避。
而事实上，在台湾提“黑道”并不是一件了不起的事，从“两蒋”时代开始，台湾政治就被冠以“黑金”政治，只是到了李登辉之后越来越猖獗，直到今天为止，在台湾社会，上至领导人下到村里长，尤其是各县市议会议长副议长，多数都有“黑道”背景，即便不是本人涉黑就是后台涉黑，否则，这些人无法坐稳。这已经成为规律和规矩。而张安乐自27岁退出“江湖”后，“江湖”只留下了他的名字，而他本人没有利用“黑道”势力赚一分钱。
因此，在很多岛内“江湖”人士看来，张安乐虽在江湖却已不“黑”。
张安乐自小学开始，一直是好学生。然而，就在读初中时，一次上学路上，无故受到一群社会小青年的殴打，在他孤独无助的时候，路过的几位胳膊上画龙雕凤的黑衣大哥哥出手相助。也就从那时起，他就常常会找那几位帮助过他的大哥哥玩。
而事实上，张安乐并不知道，也不懂得那几位黑衣人其实是当地“黑道”——南海路帮成员。尽管是“黑道”，但在幼小的张安乐心里，这些大哥哥们讲义气。而时间长了，他也就经常和该帮的哥哥们混在一起了。“因为小，也不知道自己到底入没入帮，反正大家彼此都把对方当兄弟。”
1964年，在朋友推荐下，16岁的张安乐从“南海路帮”正式加入到刚成立不久的台湾两大帮派之一的“竹联帮”，按“辈分”，他被取名“白狼”。而此时，张安乐刚刚读高中。
虽然加入了“竹联帮”，张安乐还是主要把心思用在读书上，但也偶尔参与“竹联帮”活动。因为是成绩优秀的高中生，加上天生敢打敢拼，慢慢地，他的名望开始在帮里建立。后来，在“竹联帮”内的地位也开始上升。
不过，那段时间里，为了让他远离“黑道”，张安乐的父母煞费苦心，多次为他转学。
1970年，张安乐迎来他人生的一个重大转折点——他将成为“竹联帮”的“总护法”，相当于代理帮主。由于当时“竹联帮”连续两年涉社会重大治安事件，帮主陈启礼和多位帮内大佬相继被捕。在群龙无首的情况下，多名“竹联帮”内的“大哥”将重整“竹联帮”期望，寄托到了这位台湾“黑道”最有文化的后生身上。
接任“总护法”后，张安乐重整帮务，那几年“竹联帮”进入高速发展期。然而，就在张安乐的“黑道”生涯风生水起时，他突然宣布“退出江湖”，赴美留学。
在当时，社会上流传张安乐“退出江湖”的原因，是他的父母苦苦相逼，希望他走正道。
“父母苦劝是一方面，其实还有另外一个因素。”张安乐说，自己知道两岸肯定要统一，所以那时候对大陆产生了兴趣。但上个世纪70年代的台湾，公开地方是看不到大陆任何资料的。不过，在张安乐就读的淡江大学东亚研究所是台湾主要研究大陆问题的机构之一，该所直到今天也是台湾研究大陆问题最权威的机构，“当时东亚研究所研究生是可以看到大陆资料的，但他们资料上都印有限制借阅者范围是东亚所学生。”
于是，张安乐想方设法和东亚研究所同学走近，通过他们偷偷借读大陆书籍。他说，在当时他读的大陆书籍里包括毛泽东的很多著作，比如《矛盾论》《实践论》，甚至还包括大陆中小学课本等等，“只要是有关大陆的书籍和资料，凡是能想办法借到的，我都请同学帮忙。”
虽然当了“竹联帮”大哥，但张安乐说那几年过得并不愉快，因为忙于帮务和考虑全台湾几千号帮内弟兄的生计前途，他为此耽误了自己的硕士研究生最后阶段的学习，对此他有遗憾。
而在淡江大学东亚研究所看到的那些有关大陆书籍和资料，让他那一阶段萌生离开台湾到大陆发展的念头。
