Литтл начал карьеру в Хайд Юнайтед, где его заметил тренер Кру Александра Дарио Гради. И летом 1996 года Колин перешел в Кру за 50,000 фунтов.

После семи лет в этом клубе, за который Колин провел 189 матчей, он недолгое время поиграл в Макклесфилде и Галифаксе, после чего перешел в Олтринем.

За шесть лет в Олтринеме Колин стал настоящей легендой клуба, забив за это время 112 голов.

В апреле 2010 года Литтл объявил, что закончит свою карьеру, так как ему поступило предложение тренировать одну из молодежных команд Манчестер Юнайтед (дети до 13 лет).

Но, видимо, Колин изменил свое решение, в августе 2010 года присоединившись к ФК Юнайтед. А уже в дебютном матче за новый клуб Литтл, выйдя на замену, оформил дубль.