Первоначально группа образовывалась как сайд-проект гитаристами Justin Burford и Rodney Aravena вместе с барабанщиком Malcolm Clark и бассистом Jonathon Dudman в 2001 году. Через два года первые двое ушли из The Sleepy Jackson ( австралийская инди-группа), поменяли состав группы и вместе с Mike 'Hobbsy' Hobbs (барабаны) и Tom King (bass) записали демо. В том же 2003 они записали свою первую EP Rough Diamonds / Anything Goes. Песни получили некоторое внимание со стороны радиостанций и сингл добрался до 57 места в австралийском чарте. В 2005 году они записывали свой первый альбом End of...