DeepSeek und Co scheitern am „Last Exam“

Ein neuer Test namens „Humanity’s Last Exam“ zeigt, dass selbst die fortschrittlichsten KI-Modelle wie DeepSeek und OpenAI-o1 bei komplexen Aufgaben scheitern. Diese Modelle lösen weniger als zehn Prozent der 3.000 gestellten Fragen korrekt. Der Test umfasst Fragen aus über 100 Fachgebieten und verdeutlicht, dass menschliche Experten in der Wissenschaft weiterhin überlegen sind. Trotz der aktuellen Schwächen der KI-Modelle erwarten Forscher, dass sie bis Ende 2025 signifikante Fortschritte machen. Dann könnten sie mehr als 50 Prozent der Aufgaben erfolgreich lösen. Dies würde helfen, die Entwicklung der künstlichen Intelligenz und ihre potenziellen Risiken besser einzuschätzen.

– Quelle: https://arxiv.org/abs/2501.14249