Klaus Weise Leipzig, Dresden ve Berlin'de eğitim gördü. Daimi şef olarak ilk görev yeri olan Essen'de, Folkwang-Hoschscule für Musik'te 1970 yılından beri profesör olarak şeflik dersleri de vermektedir.

Uluslararası kariyerine opera ile başlayan Klaus Weise, dört sezon Bern Operası'nda Daimi Şef olarak çalıştı. 1978 yılında Fribourg en Brisgau Operası'nda Müzik Direktörlüğü görevine atandı. 1981'de Theatre de Kiel'e katılarak 1985-1990 yıllarında kariyerini Dortmund'da sürdürdü.

Weise bu dönemde konuk şef olarak Duesseldorf, Stuttgart, Rhin, Stockholm Kraliyet Operası ve New York Şehir Operası gibi uluslararası operalarda prodüksiyonlar da yönetti. Aralarında New York Times, Allgemeine Zeitung ve The Times gazetelerinin de bulunduğu uluslararası medyadan pek çok övgü aldı.

Klaus Weise 1990-1997 yıllarında Fransa'da Nice Operası'nda, ardından da İspanya Sevilla'da Müzik Direktörü olarak görev yaptı. Weise Avrupa, ABD, İsrail ve Asya'ya gerçekleştirdiği turnelerde Madrid Devlet Orkestrası, İspanyol Radyo Orkestrası, Lizbon Devlet Orkestrası, Sao Paulo Orkestrası, Tokyo Yomiuri Nippon Orkestrası, L'Orchestre de la Suisse Romande, Halle'deki çeşitli orkestralar ile Kiel, Hamburg ve Çin'deki filarmoni orkestralarını yönetti.

Klaus Weise 2002-2006 yılları arasında yoğun bir senfonik konser trafiğinin yanı sıra Nancy'de Bartok'un "Mavi Sakal'ın Şatosu", Los Angeles ve Stockholm'de Wagner'in "Uçan Hollandalı" ve Halle'de Leoncavallo'nun "Palyaçolar" prodüksiyonlarını yönetti.

2004-2007 yıllarında Halle Operası'nın Daimi Şefliğini yaptı. Klaus Weise önde gelen tüm Alman, Fransız ve İspanyol orkestralarını yönetti; Amsterdam, Pekin, Brezilya, Kopenhag, Cenevre, Lizbon, Lüksemburg, Londra, Los Angeles, New York, Oslo, Prag, Seattle ve Stockholm'de konserler verdi. Pek çok konseri radyolarda yayınlanan Weise'nin çeşitli kayıtları da bulunmaktadır.

Şef Klaus Weise 2011 Şubatında Fransa Nice'te beyin kanaması sebebiyle inme geçirmiştir. Şu an tedavi görmektedir.