Høyre gjorde i likhet med sine regjeringspartnere et elendig valg i høst, og Bondevik II ble avløst av de rød-grønne med Jens Stoltenberg i spissen. Etter fire år som utenriksminister er Petersen igjen tilbake i Stortinget. Der ønsket han seg lederjobben i Utenrikskomiteen. Den fikk han ikke.
Høyre plasserte i stedet Petersen i Forsvarskomiteen, som har en langt lavere status enn Utenrikskomiteen. Hans kompetanse på utenrikspolitikk ble veid og funnet for lett, selv om han kan skilte med fire år som statsråd på nettopp dette fagfeltet. Slik Jan Petersen er blitt behandlet av sitt eget parti ved denne korsvei, kan han trygt konstatere at utakk er verdens lønn.