Альбом «Urban Hymns» открывается «Bitter Sweet Symphony», основанной на оркестровой петле Andrew Oldham Orchestra - инструментальной версии «The Last Time», а струнная партия была аранжирована Дэвидом Уитэйкером; этот семпл стал музыкальным ядром трека. Пластинку со-продюсировал Youth, что усилило слияние оркестровых тем и альтернативного рока. Некоторые треки пересводили, чтобы интегрировать гитарные партии Ника МаКейба.