V Dortmunde pôsobil Koller v rokoch 2001 – 2006, s mužstvom BVB získal bundesligový titul a celkovo za Dortmund nastrieľal 79 gólov v 182 súťažných stretnutiach.
Po rokoch v rozhovore pre web eurofotbal.cz priznal, že pôsobenie v Dortmunde bolo náročné, pretože v meste bola vysoká kriminalita a hráči Borussie sa často stávali terčom zlodejov a iných kriminálnych živlov. Vykradli dokonca i Kollera.

„To som zažil iba v Dortmunde. Tam to zažívali všetci hráči. Napríklad Matthiasovi Sammerovi, keď tam ešte hral, uniesli manželku aj s dieťaťom. To bol obrovský prípad, ale na nátlak verejnosti a tej medializácie to jeden únosca položil a priznal sa," uviedol Koller.
Podľa neho bola kriminalita v oblasti veľká a zažilo ju veľa hráčov v klube. „Andy Möller bol vraj vykradnutý trinásťkrát, dodnes drží rekord. Z tohto pohľadu to bolo v Dortmunde náročné,“ vyhlásil Koller.
O 49-ročnom najlepšom strelcovi českej reprezentačnej histórie nedávno vznikol dokument s názvom „Jan Koller – Príbeh obyčajného chlapca“. Mapuje futbalovú cestu dvojmetrového Dina, ako znie dlhoročná prezývka bývalého skvelého zakončovateľa.

Koller si v začiatkoch kariéry musel prejsť i klasickým zamestnaním, i keď pomerne kurióznym. V čase po rozdelení Československa sedel v protiatómovom kryte a rozdeľoval mince.
„Keď sa delila republika a prišla nová mena, mali sme na starosti všetky kovové mince. V Prahe na Čiernom moste sme boli v podzemí v takom protiatómovom kryte, kam zo všetkých bánk zvážali vrecia s rôznymi hodnotami mincí," zaspomínal si Koller.
