Paramore foi formado em Franklin, Tennessee em 2004. Em 2002, quando Hayley tinha 13 anos, se mudou de sua cidade natal Meridian, Mississippi para Franklin, Tennessee onde ela conheceu os irmãos Josh e Zac Farro na escola. Pouco tempo após a sua chegada, ela começou a fazer aulas de canto com Brett Manning. Antes de formar o Paramore, no entanto, Williams e o baixista Jeremy Davis participaram de uma banda chamada Factory, enquanto os irmãos Farro tocavam juntos depois da escola. A banda foi oficialmente formada por Josh Farro (guitarra e vocal), Zac Farro (bateria), Jeremy Davis (baixo) e Hayley Williams (vocais), em 2004, com a entrada posterior do vizinho de Hay, Jason Bynum (guitarra rítmica). Eles colocaram o nome Paramore, que é derivado do nome de um antigo baixista da banda, do tempo em que eles ainda tocavam na garagem, uma vez que o grupo descobriu o significado da palavra Paramour (“Amante secreto”), que soa idêntica ao nome escolhido, eles decidiram adotar o nome, usando a ortografia Paramore. A primeira canção da banda que foi escrita em conjunto foi “Conspiracy”, que mais tarde foi utilizada em seu primeiro álbum.
Durante os anos seguintes, o Paramore se apresentou em locais fora da área da grande Nashville, incluindo os concertos e festivais Purple Door e Warped Tour. John Janick, CEO e co-fundador da da gravadora Fueled by Ramen, ouviu demos da banda e foi a um concerto para ouvi-los ao vivo. Depois de uma pequena apresentação em um armazém, a banda assinou com a gravadora, em Abril de 2005.
