Innerhalb der Informatikdienste wird jedes Jahr ein ID-Innovationspreis vergeben. Eine der Bewertungskriterien ist u.a der Innovationsgehalt und ob es wirklich eine neue Idee an der ETH oder innerhalb der ID ist.<\/p>\n\n\n\n\n\n\n\n
Dieses Jahr hat das Projekt mit dem Namen \u00abSelf-Hosted \/ Privatsph\u00e4re-Fokussierter KI-Sprach-Bot\u00bb den ID-Innovationspreis gewonnen (zusammen mit \u00abChatbot mit ChatGPT4\u00bb). Der Name t\u00f6nt kompliziert. Dabei sagt der Titel schon viel \u00fcber das Projekt.<\/p>\n\n\n\n
Matrix.org ist ein Messanger-Dienst wie Slack oder WhatsApp. Wenn man angemeldet ist, kann man in einem Raum mit anderen Teilnehmenden Informationen austauschen, \u00e4hnlich wie man das in einer WhatsApp-Gruppe gewohnt ist. Der Vorteil von Matrix.org ist, dass die Software Opensource und die Kommunikation dezentralisiert ist. Es gibt also keine zentrale Serverinstallation, \u00fcber welche alle Kommunikation l\u00e4uft. Stattdessen kann jede beliebige Organisation einen Matrix-Server betreiben. Das ist aus Datenschutzgr\u00fcnden relevant. Wenn meine Organisation einen Matrix-Server betreibt, ist diese Organisation verantwortlich daf\u00fcr, dass die Informationen sicher und gesch\u00fctzt \u00fcbermittelt werden.<\/p>\n\n\n\n
Die Informatikdienste betreiben einen solchen Matrix-Server. Damit ist die Voraussetzung f\u00fcr eine Kommunikation, welche die Privatsph\u00e4re sch\u00fctzt, vorhanden. Dieses Angebot wird rege genutzt. Auf dem Matrix-Netz der Informatikdienste gibt es etliche R\u00e4ume und einen regen Informationsaustausch.<\/p>\n\n\n\n
Diese Voraussetzungen haben Mitglieder in der ID-Software-Entwickler-Community zu einem Experiment veranlasst. W\u00e4re es nicht m\u00f6glich, so seine Frage, einen Matrix-Raum anzubieten, in welchem nicht eine Person auf Fragen antwortet, sondern ein KI gesteuerter Chat-Bot?<\/p>\n\n\n\n
Um diese Idee zu testen, kopierten sie sich das vortrainierte und \u00f6ffentlich verf\u00fcgbare Sprachmodell LLaMA herunter, integrierte dieses in eine kleine Server-Anwendung und fertig war der Sprach-Bot.<\/p>\n\n\n\n
Das Ergebnis funktioniert erstaunlich gut. Es ist allerdings noch nicht stabil genug, dass es f\u00fcr einen produktiven Einsatz genutzt werden k\u00f6nnte. Ausserdem ist der Sprach-Bot nicht fein abgestimmt, was seinen Sprachschatz und sein Antwortverhalten betreffen. Das macht sich beispielsweise in Antworten bemerkbar, die als Halluzinationen bezeichnet werden k\u00f6nnen.<\/p>\n\n\n\n
Die Machine Learning Insights Group der Software-Entwickler-Community will auf diesem Projekt aufbauen und die Anwendung schrittweise so weit bringen, dass sie dereinst f\u00fcr den produktiven Einsatz bei den Informatikdiensten eingesetzt werden kann.<\/p>\n\n\n\n