Johannes Siebert

Schlagwort: Value-focused Thinking

  • ChatGPT vs. Expert:innen: Kann generative KI hochwertige Zielsysteme für organisationale und politische Entscheidungen entwickeln?

    ChatGPT vs. Expert:innen: Kann generative KI hochwertige Zielsysteme für organisationale und politische Entscheidungen entwickeln?

    Diese Studie untersucht die Leistungsfähigkeit generativer künstlicher Intelligenz (GenAI) im Kontext des Value-Focused Thinking, insbesondere ihre Fähigkeit, hochwertige Zielsysteme für organisationale oder politische Entscheidungen zu entwickeln. Insgesamt zeigen unsere Ergebnisse, dass die von GenAI generierten Ziele einzeln betrachtet meist sinnvoll sind, die resultierenden Zielsysteme als Ganzes jedoch deutliche Schwächen aufweisen. Häufig enthalten sie irrelevante Aspekte, lassen wichtige Ziele aus und sind zudem redundant sowie nicht klar strukturierbar. Dies ist unter anderem darauf zurückzuführen, dass GenAI dazu neigt, Mittelziele einzubeziehen – selbst dann, wenn dies explizit vermieden werden soll.

    Gleichzeitig zeigen wir, dass sich die Qualität der Zielsysteme durch den Einsatz von Best Practices im Prompting sowie durch Expertise in der Entscheidungsanalyse deutlich verbessern lässt. Die Ergebnisse unterstreichen die Bedeutung eines „Human-in-the-Loop“-Ansatzes: GenAI eignet sich gut zur Generierung erster Zielideen, jedoch ist die Einbindung von Expert:innen mit fundiertem Hintergrund in der Entscheidungsanalyse entscheidend, bevor die Ergebnisse zur Unterstützung realer Entscheidungen verwendet werden.

    Zur praktischen Umsetzung präsentieren und demonstrieren wir einen vierstufigen Ansatz, der die jeweiligen Stärken von GenAI und Entscheidungsanalyst:innen kombiniert.

    Weitere Informationen: MCI-Pressemitteilung

    Simon, Jay; Siebert, Johannes U. “ChatGPT vs. Experts: Can GenAI Develop High-Quality Organizational and Policy Objectives?” Decision Analysis, Articles in Advance, online veröffentlicht am 11. November 2025. https://doi.org/10.1287/deca.2025.0387

    Erschienen im Special Issue „Implications of Advances in Artificial Intelligence for Decision Analysis“.

  • Caltrans: Welche Straßenprojekte verdienen das Geld?

    Caltrans: Welche Straßenprojekte verdienen das Geld?

    Die kalifornische Verkehrsbehörde Caltrans investierte über das State Highway Operation and Protection Program (SHOPP) damals jährlich rund 2,3 Milliarden US-Dollar in Erhalt, Sicherheit und Sanierung von Highways und Brücken. Im September 2014 habe ich Caltrans gemeinsam mit Ralph Keeney dabei beraten, wie sich diese Projekte nachvollziehbarer priorisieren lassen.

    Auftraggeber: California Department of Transportation (Caltrans), SHOPP Pilot Project
    Zeitraum: September 2014
    Rolle: Beratung in der Framing-Phase, gemeinsam mit Ralph Keeney
    Ergebnis: Empfehlungsbericht „Recommendations about Decision-Making for Caltrans SHOPP Project Prioritization“ (Keeney & Siebert)
    Methode: Value-Focused Thinking, Multi-Objective Decision Analysis

    Ausgangslage

    Bis dahin wurden SHOPP-Projekte über 31 Programme priorisiert. Ob ein Projekt Geld bekam, hing vor allem davon ab, welchem Programm es zugeordnet war und wie hoch dieses Programm im Ranking stand. Was ein Projekt tatsächlich bewirkt – über mehrere Anlagen hinweg und im Verhältnis zu seinen Kosten –, ließ sich so kaum abbilden. Caltrans hatte gerade eine neue Vision, Mission und neue Ziele formuliert und eine umfangreiche Liste möglicher Bewertungskriterien zusammengetragen. Die Frage war: Wie wird daraus eine Priorisierung, die logisch sauber und gegenüber Politik und Öffentlichkeit begründbar ist?

    Was wir gemacht haben

    Am 22. September 2014 haben Ralph Keeney und ich in Sacramento an einem Tag mehrere Gespräche geführt: mit dem Projektteam, mit den Verantwortlichen für Finanzen, Projektabwicklung, Instandhaltung und Planung, mit zwei District Directors und mit einem Vertreter der California Transportation Commission. Wir wollten verstehen, wie Entscheidungen im SHOPP bisher fallen und was sich die Führung von einem besseren Prozess erhofft. Unsere Empfehlungen haben wir anschließend in einem Bericht zusammengefasst. Drei davon halte ich bis heute für zentral.

    Fundamentalziele statt Kriterienlisten

    Die meisten gesammelten Kriterien waren Mittel zum Zweck, keine eigentlichen Ziele. Ein Beispiel:

    Belag verbessern → Unfälle vermeiden → Leben retten

    Nur das letzte Glied ist ein Fundamentalziel – etwas, das uns um seiner selbst willen wichtig ist. Wer Mittel- und Fundamentalziele gemeinsam bewertet, zählt denselben Nutzen doppelt. Die Fundamentalziele mussten wir dabei nicht neu erfinden: Sie ließen sich direkt aus den neuen Caltrans-Zielen ableiten – Sicherheit maximieren, Kosten minimieren, Störungen der Wirtschaft minimieren und Beeinträchtigungen minimieren. Zwei weitere Caltrans-Ziele, Systemleistung und organisatorische Exzellenz, hängen eher vom Gesamthandeln der Behörde ab als von der Auswahl einzelner Projekte und gehören deshalb nicht in die Projektbewertung.

    Ziele messbar machen

    Für jedes Fundamentalziel braucht es ein Attribut, das misst, wie gut eine Alternative es erreicht. Manchmal gibt es ein natürliches Maß, etwa Kosten in Dollar. Manchmal muss man auf ein Proxy-Maß ausweichen, etwa vermiedene Unfälle statt vermiedener Todesfälle. Und manchmal lohnt es sich, ein eigenes Maß zu konstruieren, das zum Beispiel Frontalzusammenstöße stärker gewichtet als leichtere Unfälle.

    Gewichte über Tradeoffs, nicht über „Wichtigkeit“

    Die Frage „Was ist wichtiger, Unfälle oder Kosten?“ hat keine sinnvolle Antwort. Ist ein vermiedener Unfall wichtiger als eine Milliarde Dollar? Wohl kaum. Wichtiger als tausend Dollar? Vermutlich schon. Sinnvoll ist nur die Frage, wie viel eine konkrete Veränderung bei einem Ziel im Vergleich zu einer konkreten Veränderung bei einem anderen wert ist. Setzt man etwa einen vermiedenen Unfall mit zwei Millionen Dollar gleich, dann schafft ein Projekt, das 120 Millionen Dollar kostet und 100 Unfälle vermeidet, einen Nettowert von umgerechnet 80 Millionen Dollar. Solche Werturteile lassen sich offenlegen, diskutieren und am Leitbild der Organisation überprüfen.

    Was ich daraus mitgenommen habe

    Der größte Hebel lag nicht in der Rechnung, sondern in der Frage davor: Was will die Organisation mit ihren Projekten eigentlich erreichen? Sind die Fundamentalziele klar, werden Datenbedarf, Gewichtung und Kommunikation deutlich einfacher. Eine gute Priorisierung beginnt mit Zielen, nicht mit Daten.

    Nachtrag (September 2026): Das Caltrans-Team hat auf Grundlage unserer Empfehlungen und weiterer Empfehlungen von Lee Merkhofer bis Juni 2015 ein Priorisierungsmodell auf Basis der Multi-Objective Decision Analysis samt Prototyp entwickelt. Die Caltrans-Ziele, aus denen wir 2014 die Fundamentalziele abgeleitet haben, blieben bis 2020 die offiziellen Ziele der Behörde. Seither hat Caltrans sie in zwei Strategieplänen neu gefasst; Sicherheit steht bis heute an erster Stelle, und wirtschaftliche Prosperität ist inzwischen ein eigenes Ziel. Den Abschlussbericht des Pilotprojekts mit unserem Empfehlungsbericht im Anhang hat Caltrans veröffentlicht: SHOPP Pilot Project – Phase 1: A Framework for Project Prioritization (PDF, Anhang).

  • Value focused decision making – How to be successful by thoughtful decision making?

    Value focused decision making – How to be successful by thoughtful decision making?

    Selecting a university, choosing a dissertation topic, pursuing friendships, arranging an internship, finding a place to study abroad, getting a well-paid summer job, and accepting an employment offer. There are numerous decision tasks in a student´s life to be made, which have a significant impact on their personal future. But how to do it properly? Is there a proper way of decision making (with the effect of enhancing the quality of life), or is there a power of thinking without thinking and no need to put much effort into it?

    This marks the beginning of a scientific workshop on decision-making, led by PD Dr. Johannes Siebert (University of Bayreuth) in collaboration with Professor Dr. Ralph L. Keeney (Duke University, USA).

    PD Dr. Johannes Siebert ist „Akademischer Oberrat“ at the Chair of BWL 5, Produktionswirtschaft & Industriebetriebslehre. After graduating with a thesis on multiattribute utility theory, he applied a more qualitative technique. He got in contact with the ideas of Value Focused Thinking and learned from its founder, Prof. Dr. Ralph Keeney. The theory is based on the assumption that actively using a system of values is the key to more and better alternatives for acting, which have the power to lead to more satisfaction than the reactive way of choosing only when forced and only between the obvious choices A or B.

    In cooperation with Prof. Dr. Ralph Keeney, Dr. Siebert successfully verified this hypothesis empirically through a series of experiments, some of which were conducted at the University of Bayreuth. This work led to a publication in a world-class journal. Dr. Siebert did his doctoral dissertation on “Behavioural Operations Research and Decision Analysis” and is now applying for a full professorship.

    Prof. Keeney is an engineer but famous as a research Professor Emeritus of Decision Sciences at the Fuqua School of Business at Duke University. He received his PhD in Operations Research at the world-famous MIT in 1969. His research interests lie in the fields of decision-making and risk analysis, with a particular emphasis on problems that involve multiple objectives. Professor Keeney is the author of several books and highly ranked articles. A current interest concerns distilling the body of knowledge in the decision sciences to provide practical and usable advice that helps people make better decisions.

    You can find the full blog here: https://doi.org/10.58079/v23b

  • Identifikation und Strukturierung von Zielen eines großen Energieversorgers

    Identifikation und Strukturierung von Zielen eines großen Energieversorgers

    Bevor ein Unternehmen gute strategische Alternativen entwickeln kann, muss klar sein, was es eigentlich erreichen will. Für einen großen europäischen Energieversorger haben Ralph Keeney und ich nach dem deutschen Atomausstieg genau das herausgearbeitet: alle strategischen Ziele des Unternehmens, verdichtet auf einer Seite.

    Auftraggeber: großer europäischer Energieversorger (anonymisiert)
    Zeitraum: ab Anfang 2013
    Methode: Value-Focused Thinking
    Beteiligte: alle Vorstandsmitglieder, Aufsichtsratsvorsitzender, rund ein Dutzend Führungskräfte in Schlüsselpositionen
    Ergebnis: Zielnetzwerk mit drei Hauptbereichen, entwickelt aus rund 450 identifizierten Zielen

    Ausgangslage

    Nach der Reaktorkatastrophe von Fukushima im März 2011 vollzog die deutsche Energiepolitik einen Paradigmenwechsel: Die Bundesregierung unter Angela Merkel beschloss kurzfristig den Atomausstieg. Die großen Energieversorger, die Kernkraftwerke betrieben, traf diese Entwicklung unvorbereitet. Die wirtschaftlichen Folgen waren erheblich. Das Unternehmen, mit dem wir gearbeitet haben, schätzte seine langfristigen Gewinnausfälle auf rund 1 Mrd. Euro pro Jahr.

    Entsprechend groß war der Druck, qualitativ hochwertige strategische Handlungsalternativen zu entwickeln. Dafür müssen jedoch zuerst die strategischen Ziele des Unternehmens systematisch identifiziert und strukturiert sein.

    Vorgehen

    Dieser Aufgabe habe ich mich Anfang 2013 gemeinsam mit Ralph Keeney angenommen, emeritierter Professor der Duke University und Begründer des Value-Focused Thinking. Wir haben Einzelinterviews mit allen Mitgliedern des Vorstands, dem Aufsichtsratsvorsitzenden und rund einem Dutzend Führungskräften in Schlüsselpositionen geführt, die zusammen alle relevanten Geschäftsbereiche abdeckten. Zusätzlich haben wir öffentlich zugängliche Dokumente und interne Planungsunterlagen systematisch nach möglichen Zielen ausgewertet.

    So kamen zunächst rund 450 Ziele zusammen. Diese haben wir kategorisiert, Redundanzen eliminiert, die verbleibenden Ziele in einem Netzwerk organisiert und in einem übersichtlichen Schaubild visualisiert.

    Ergebnis: ein Zielnetzwerk mit drei Bereichen

    Grundlagen für künftigen Erfolg legen. Hier finden sich Ziele zu guter Führung, zum Auf- und Ausbau einer hochqualifizierten Belegschaft und dazu, konsequent gute Entscheidungen zu treffen.

    Das Geschäft klug und zukunftsfähig gestalten. In diesem Bereich zeigte sich, dass im Unternehmen zwei unterschiedliche Zielsysteme nebeneinander bestehen. Im traditionellen, regulierten Geschäft stehen „Effizienz erhöhen“ und „Kosten minimieren“ im Zentrum. In den neuen, nicht regulierten Geschäftsfeldern wie den erneuerbaren Energien geht es dagegen um „Neue Produkte entwickeln“, „Neue Märkte erschließen“ und „Neue Kunden gewinnen“.

    Im unsicheren Marktumfeld nicht nur überleben, sondern wachsen. Im Mittelpunkt steht, welche Werte das Unternehmen für seine Stakeholder schaffen will: für Kundinnen und Kunden eine sichere und verlässliche Energieversorgung zu vertretbaren Preisen, für Anteilseigner eine angemessene und stabile Dividende, für die Region ein starkes Engagement vor Ort und für Mitarbeitende sichere Arbeitsplätze zu fairen Bedingungen, an denen sie Freude an ihrer Arbeit haben.

    Die zentrale Erkenntnis

    Das Unternehmen agierte in zwei Geschäftsbereichen mit grundlegend verschiedenen Zielen. Im regulierten Bereich war „effektiv und effizient arbeiten“ zentral, im nicht regulierten „neue Produkte und Prozesse entwickeln und vermarkten“. Dahinter stehen unterschiedliche Managementphilosophien. Das erklärte unter anderem, warum sich Mitarbeitende, die viele Jahre im traditionellen Geschäft tätig waren, im neuen Bereich oft schwertaten.

    Als wir die Ergebnisse im Vorstand präsentierten, sagte der Vorstandsvorsitzende, damals seit 100 Tagen im Amt, ihn beeindrucke, dass sich alles, was dem Unternehmen wichtig ist, auf einer Seite verdichten ließ. Gerade die klare Unterscheidung zwischen reguliertem und nicht reguliertem Bereich sei für ihn das fehlende Puzzlestück gewesen, um seine Vision des Unternehmens klar zu kommunizieren.

    Was sich übertragen lässt

    Das Vorgehen eignet sich für Organisationen, die vor einer strategischen Neuausrichtung stehen: wenn sich das Umfeld grundlegend ändert, eine neue Führung antritt oder alte und neue Geschäftsfelder unter einem Dach zusammenfinden müssen. Ein explizites Zielnetzwerk macht sichtbar, was wirklich wichtig ist, deckt widersprüchliche Zielsysteme auf und schafft die Grundlage, um bessere Alternativen zu entwickeln und zu bewerten.

    Ursprünglich veröffentlicht im April 2015, aktualisiert im September 2026.