Skupino sta leta 1995 ustanovila Amaury Cambuzat in Olivier Manchion, ko sta našla zapuščen rudnik krede v bližini Pariza. Odločila sta se, da bo to odslej prostor za vaje in snemanje njunega bodočega dela.
Tam sta sama posnela svoje prve tri plošče, ki sta jih izdala pri založbi Les disques du soleil et de l'acier. Tik pred začetkom snemanja prve plošče, sta v skupino povabila še bobnarja Francka Lantignaca, ki je ostal z njima do 1998.
Sledile so pohvalne kritike v glasbenih revijah kot npr. tista iz Alternative Press: ? Ulan Bator je edina skupina tega (o.p. francoskega) prezačinjenega naroda, ki je po dolgem času kaj vredna.? Zaradi glasbenega pristopa je tisk skupino Ulan Bator povezoval z imeni kot so This Heat, Can, Faust, Slint, Boredoms, Gastr del Sol itd.
V svojem začetnem obdobju so imeli Ulan Bator okrog 150 koncertov vsepovsod po Evropi, med drugim tudi na prestižnih festivalih kot so Transmusicales de Rennes 1996 (Francija), Musique Action 1996 (Francija), Roskilde 1998 (Danska), Nursery injection 1998 (Švedska), oder so si delili z umetniki kot so Kreidler, Mogwai, Jim O'Rourke, Scorn, Blonde redhead, Chokebore, Scanner, Ruins, Young gods, God is my co-pilot, Lydia Lunch, Bastard, Bobby Conn, Roof ...
Skupaj z nemškim ?art.erroristom? Faustom so izvedli tudi posebno turnejo po Franciji in Švici: 4 - 8 glasbenikov je dobesedno teroriziralo publiko z dvournimi improvizacijami. V letih 1996 in 1997 so izvedli 6 takih velikih koncertov. S Faustom so posneli tudi ploščo Faust including Ulan Bator .
Na začetku leta 1999 se je Amaury Cambuzat odločil, da za snemanje nove plošče sestavi nov tim glasbenikov. Prejšnjega bobnarja je zamenjal z Mattom Dainesejem (ta je prej igral s skupinami Meathead, Here in Sem). Prvič se je Cambuzat odločil, da bo k svojemu glasbenemu projektu povabil tudi producenta in to je bil Michael Gira (Swans, Angels of light). Novi album, ki ga je posnel in zmiksal Michael Gira, je bil v celoti posnet na toskanskem podeželju avgusta 1999 in nosi naslov Ego:echo .
Leta 2000 je sledila plošča D-Construction , ki vključuje tudi remikse Otoma Yoshihide (Japonska), Scannerja (Velika Britanija), Erika (Francija) in Carla Stonea (ZDA).
Po številnih koncertih v letih 2000 in 2001, na katerih so promovirali ploščo Ego:echo, so se Ulan Bator odločili, da z dovoljenjem založnika Sonica factory posnamejo neke vrste kompilacijo materiala, ki so ga ustvarili za Ego:echo, ter spremenjenih verzij pesmi s taiste plošče. Amaury Cambuzat je ustanovil založbo Ursula Minor Rec. in Ulan Bator so izdali ploščo OK:KO.
V letu 2002 se je zasedba spet malo spremenila: Septembra in oktobra 2002 so Amaury Cambuzat (vokal, kitara in klaviature), Manuel Fabbro iz skupine Oslo (bas), Matt Dainese (bobni) in Egle Sommacal iz skupine Massimo Volume (kitara in klaviature Fender Rhodes) v Milanu posneli album Nouvel air , ki sta ga kasneje tehnično obdelala Amaury Cambuzat in Robin Guthrie nekje na francoskem podeželju, plošča pa je v Franciji in Italiji izšla spomladi 2003.
nastopi:
28.3.: Koper - MKC
30.3.: Kranj - Izbruhov kulturni bazen
31.3.: Ljubljiana - Channel zero
