W spotkaniach kończących nieudane eliminacje Euro-2012 - w piątek w Baku z Azerbejdżanem i za tydzień w Astanie z Kazachstanem - austriacką drużynę narodową poprowadzi jeszcze dyrektor sportowy federacji i tymczasowy trener Willi Ruttensteiner. W połowie września zastąpił on zwolnionego Dietmara Constantiniego.

Od 1 listopada jego obowiązku przejmie Koller, który w nowej roli zadebiutuje w połowie tego miesiąca w towarzyskim meczu z Ukrainą we Lwowie.

Koller ma za sobą pracę w szwajcarskich drużynach FC Wil, St. Gallen i Grasshoppers Zurych oraz niemieckich FC Koeln i VfL Bochum. Z tej ostatniej został zwolniony 20 września 2009 roku i od tego momentu nie szkolił żadnego zespołu, a komentował mecze w telewizji i pomagał w opracowaniu systemu komputerowego służącego analizie taktyki gry.

Jako piłkarz wystąpił 56 razy w kadrze Helwetów i zdobył trzy gole. Wystąpił w mistrzostwach Europy w 1996 roku.