«Mit Apertus bieten wir eine performante Alternative zu Anbietern aus den USA und China»

Wir sind positiv überrascht. Die Modelle wurden bereits über 2,5 Millionen Mal heruntergeladen, obwohl ein einzelnes Modell zwischen mehreren Dutzend bis hunderte Gigabytes gross ist. Auch international war die Resonanz auf die Idee eines vollständig offenen und transparenten Modells sehr positiv.

Da Apertus Open Source ist, können wir die Nutzung nicht vollständig nachverfolgen. Wir sehen aber konkrete Beispiele: So ist Apertus etwa bei der Verwaltung des Kantons Tessin produktiv im Einsatz. Am Bundesgericht in Lausanne läuft ein Testbetrieb, ebenso bei der Stadt Zürich (oss.zuericitygpt.ch). Weitere Anwendungen gibt es unter anderem an der Universität Göttingen in Deutschland sowie an der ETH und der EPFL. Zudem bauen bereits über 100 wissenschaftliche Publikationen auf Apertus auf.

Kommerzielle KI-Systeme wie Claude oder ChatGPT sind heute leider Black Boxes, die hinter verschlossenen Türen entwickelt werden. Apertus verstehen wir als Alternative dazu: zwar nicht ganz so leistungsstark wie die führenden kommerziellen Modelle, dafür verantwortungsvoll trainiert sowie vollständig transparent und nachvollziehbar. Dadurch eignet sich Apertus besonders für sensible Anwendungen wie im öffentlichen Sektor oder überall dort, wo Datensicherheit und Unabhängigkeit eine zentrale Rolle spielen und Organisationen nicht ausschliesslich auf Anbieter aus den USA oder China setzen wollen. Organisationen können das Modell ja selbst hosten und damit volle Kontrolle über die Daten behalten. Aber grundsätzlich ist Apertus ein allgemeines KI-Modell und lässt sich für viele Anwendungsfälle einsetzen.

Wir planen, künftig zweimal pro Jahr eine neue Version zu veröffentlichen: einerseits eine Weiterentwicklung des bestehenden Modells – diesen Sommer beispielsweise mit Inputmöglichkeiten für Bild und Ton –, andererseits ein komplett neues und grösseres Basismodell mit einer Mixture-of-Experts-Architektur gegen Ende des Jahres. Eine perfekte aktuelle Wissensbasis im Training ist dabei weniger entscheidend: Moderne KI-Systeme greifen auf Websuche und andere Tools zurück, wenn aktuelle Informationen benötigt werden.

Wir trainieren ausschliesslich auf öffentlich zugänglichen Daten und respektieren die Opt-out-Wünsche von Webseiten. Dafür nutzen wir den etablierten Standard robots.txt, wie man ihn auch von Suchmaschinen kennt. Bei der Gewichtung achten wir darauf, Sprachen nicht gegeneinander auszuspielen, sondern die sprachliche Vielfalt möglichst breit abzubilden.

Open-Weights-Modelle wie DeepSeek liegen aktuell nur wenige Monate hinter den kommerziellen sogenannten Frontier-Modellen zurück. Vollständig offene Modelle wie Apertus – bei denen auch die Trainingsdaten nachvollziehbar sind – haben derzeit einen Rückstand von einigen Monaten gegenüber diesen Open-Weights-Modellen. Ich bin jedoch optimistisch, dass die Open-Source-Community diesen Abstand weiter verkleinern kann. Ich möchte nicht pedantisch klingen, aber wenn man die Leistungsfähigkeit verschiedener KI-Modelle miteinander vergleicht, ist es wichtig zu wissen, dass Apertus das einzige moderne Modell dieser Grösse ist, das Open Source und Open Weights ist. Andere Modelle sind nur Open Weights und legen ihre Trainingsdaten nicht offen. Bezüglich Zugang, Anpassbarkeit und praktischem Einsatz ist Apertus aber gleich wie andere Open-Weights-Modelle.

Die Hauptschwierigkeit besteht derzeit darin, mit der rasanten technologischen Entwicklung Schritt zu halten, zumal sich diese weiter beschleunigt. Die gute Zusammenarbeit innerhalb der globalen Open-Source-Community stimmt mich aber optimistisch, dass dies weiterhin gelingt. Klar ist aber, dass es noch mehr Zusammenarbeit über Landesgrenzen hinweg braucht, etwa um die teure GPU-Rechenleistung effizient zu teilen und zu nutzen.

Halluzinationen gehen bereits deutlich zurück. Einerseits durch intelligentere Modelle, andererseits durch die vermehrte Nutzung von Tools wie Websuche. Ein grosses Problem bleibt jedoch das Alignment, also die Frage, wie gut KI-Systeme mit menschlichen Werten im Einklang stehen. Dabei sollte nicht allein entscheidend sein, was einzelne kommerzielle Anbieter definieren. Vielmehr geht es darum, die Perspektiven und Werte breiterer Bevölkerungsgruppen, die ja alle von KI betroffen sind, abzubilden, auch in der Schweiz und in Europa. Das setzt voraus, dass die Risiken und die zugrunde liegenden Mechanismen von KI öffentlich diskutiert und analysiert werden. Wir hoffen, dass Apertus dazu einen Beitrag leisten kann.

LLMs lernen erstaunlich gut direkt aus Rohdaten, auch ohne spezielle Gewichtung oder Filterung. Wir setzen jedoch kleinere Machine-Learning-Classifier ein, um nur etwa das beste Drittel der Rohdaten zu verwenden. Ein zusätzlicher Classifier dient dazu, problematische oder toxische Inhalte gemäss einer transparent definierten Grundlage zu entfernen.