OpenAI veröffentlicht 719 Lösungen für Mathematikprobleme, verfehlt aber akademische Standards

Kürzlich veröffentlichte OpenAI 719 von seinen Modellen generierte Lösungen mathematischer Probleme, die mehrere offene Forschungsfragen betreffen. Obwohl das Unternehmen angab, vor der Veröffentlichung ein Beratergremium für Mathematik und künstliche Intelligenz konsultiert zu haben, zeigt die öffentliche Lage, dass sein Prozess die von diesem Gremium aufgestellten Standards noch nicht vollständig erfüllt, insbesondere fehlen ausreichende Garantien für menschliches Verständnis, formale Verifizierung und Peer-Review. Das Beratergremium von OpenAI wird vom Institute for Advanced Study in Princeton geleitet und umfasst neun Mathematikforscher von verschiedenen Institutionen weltweit. Das Gremium hatte zuvor empfohlen, die Verwendung proprietärer Modelle zur Prüfung höherer Mathematikprobleme einzustellen, doch OpenAI verwendete diesmal ausdrücklich proprietäre Modelle zur Bewertung offener Mathematikprobleme.

OpenAIs Lösungen mathematischer Probleme weisen mehrere Mängel auf

Unter den 719 Manuskripten legten nur 10 den Schlussfolgerungsprozess offen, mit dem das Modell zu seinen Ergebnissen gelangte, und weitere 42 % der Beweise wurden nicht formalisiert. Eine neue Arbeit von Mathematikforschern der Universität Cambridge und des King's College London weist darauf hin, dass in der von OpenAI für ein von den Navier-Stokes-Gleichungen abgeleitetes Problem vorgelegten Lösung mindestens zwei Diskrepanzen zwischen dem natürlichsprachlichen Beweis und dem formalisierten Code bestehen. Diese Diskrepanzen bedeuten nicht zwangsläufig, dass der Beweis fehlerhaft ist, zeigen aber, dass beim Übersetzen textbasierter Schlussfolgerungen in verifizierbaren Code Fehlübersetzungen auftreten können.

Das Beratergremium hatte zuvor verlangt, dass die Labors maschinenlesbare Korrelationsinformationen bereitstellen, die natürlichsprachliche Beweise und formalisierte Ergebnisse zuordnen, doch OpenAI lieferte diese diesmal nicht. Mathematiker sind der Ansicht, dass maschinell erzeugte Beweise weiterhin demselben Peer-Review wie traditionelle Beweise unterzogen werden müssen. Terence Tao wies ebenfalls darauf hin, dass, wenn die Person, die das Modell zur Problemlösung auffordert, die Ergebnisse nicht erklären, am Bericht mitwirken oder auf Fachfragen reagieren kann, die entsprechenden Leistungen nur schwer wirklich in die mathematische Forschung integriert werden können. Die Harvard-Mathematikprofessorin Melanie Wood erklärte, dass beim Ausgeben von Lösungen durch das Modell das menschliche Verständnis oft noch nicht gebildet sei und die anschließende Verifikationsarbeit erst beginne.