新加坡男性均须服兵役，林俊杰亦不例外。由于专长，他加入的是新加坡武装部队文工团。服兵役期间，他积累了大量的舞台表演经验，同时也尝试了无数创作。

　　尽管早期屡遭“打枪”，但在老师的正确引导鼓励下，极具天赋又非常努力的他，终于谱出了令老师首肯的曲子，这便是2001年收录在 张惠妹专辑里的《记得》。此后，林俊杰为庾澄庆、阿杜、王心凌等人创作多首主打歌曲，他的创作才华终于得以展示 。