Группа образована в Остине, штат Техас, в 2003 году. С момента создания состав не изменялся. Это гитарист, вокалист и основной автор песен John «J. D.» Cronise, гитарист Kyle Shutt, басист Bryan Richie и ударник Trivett Wingo. В 2004–2005 годах команда выпускает 2 демо, в 2005 The Sword принимает нью‑йоркский лейбл Kemado Records. В 2006 году увидел свет дебют группы — Age Of Winters. Песня Freya, входившая в дебют, была помещена в видео‑игре Guitar Hero II, позже, в 2007, выпущена как сингл. В этом же году The Sword записывает сплит с шведской группой Witchcraft. В 2008 группа активно гастролирует, делит сцену с такими гигантами, как Machine Head, Lamb of God, Down и Metallica (тур в поддержку Death Magnetic), а так же выпускает второй полноформатник — Gods of the Earth. В 2010 планируется выход нового диска.
На звучание The Sword повлияли Black Sabbath, Sleep, Melvins, Slayer, Iron Maiden, Deep Purple, Metallica, Pantera и другие. Темы лирики — скандинавская мифология, произведения Джорджа Мартина, Говарда Лавкрафта, Артура Кларка и Роберта Говарда.