Es ist mittlerweile möglich, einen Großteil des Forschungsworkflows mithilfe von Open-Source-KI-Tools zu automatisieren und gleichzeitig Daten, Dateien und Transaktionsprotokolle auf den eigenen Geräten oder Servern der Nutzer zu speichern. Dieser Ansatz ermöglicht Forschern, Entwicklern und Fachkräften eine bessere Kontrolle über die Informationsverarbeitung, anstatt sich vollständig auf geschlossene Cloud-Dienste zu verlassen.
KI-gestützte Suchautomatisierung basiert auf der Verknüpfung von Open-Source-KI-Modellen mit Werkzeugen zum Sammeln, Organisieren, Analysieren und Zusammenfassen von Informationen. Diese Systeme können wiederkehrende Aufgaben wie die Dokumentensuche, das Extrahieren von Daten, das Klassifizieren von Quellen und das Generieren von Zusammenfassungen ausführen, wobei die Arbeitsabläufe an die Bedürfnisse der Nutzer angepasst werden können.
Der wichtigste Vorteil liegt in der Datenkontrolle. Werden die Tools lokal oder auf einem eigenen Server ausgeführt, verringert sich die Notwendigkeit, sensible Informationen an externe Plattformen zu senden. Der Grad der Privatsphäre hängt jedoch von der Systemkonfiguration, dem Ausführungsort des Modells und den Berechtigungen der verbundenen Tools ab.
Online-KI-Dienste eignen sich hervorragend zum Durchsuchen und Analysieren langer Dokumente, haben aber auch Nachteile. Ihre Daten werden bei einem Drittanbieter gespeichert, der Zugriff ist kostenpflichtig oder erfordert ein Abonnement, und die Dienste benötigen eine Internetverbindung. Durch die Nutzung lokaler Lösungen kann ich sicherstellen, dass keine sensiblen Dokumente versehentlich offengelegt werden, und ich muss mir keine Sorgen darüber machen, dass meine persönlichen Daten zum Trainieren von Cloud-Modellen verwendet werden.
Lokaler Forschungsworkflow
Datenerfassung, -zusammenfassung, -einbindung und -abruf erfolgen alle lokal.
Als ich mich daran machte, einen lokalen KI-gestützten Forschungsassistenten zu entwickeln, bestand das Ziel darin, eine große Menge an Informationen zu sammeln und diese dann mithilfe von KI zu analysieren und zu sortieren, anstatt mich auf das zu verlassen, was die KI „weiß“.
Sobald eine bestimmte Ressource – beispielsweise eine PDF-Datei – erfasst ist, generiert ein lokales Modell eine strukturierte Zusammenfassung, indem es automatisch wichtige Punkte, Quellen und relevante Fragestellungen extrahiert. Anschließend werden die Dokumente zusammengeführt (ein Prozess, bei dem sie aufgeteilt und in Vektoren umgewandelt werden), sodass die KI gezielt nach Zweck oder impliziter Bedeutung suchen kann, anstatt nur wörtliche Stichwortsuchen durchzuführen.
Sobald alles eingerichtet und betriebsbereit ist, wird das gesamte System ähnlich wie mein persönliches NotebookLM funktionieren.
Programmeinstellungen: Ollama für Inferenz, kleines eingebettetes Modell und RAG.
Dieses Setup besteht aus drei Hauptteilen: der Inferenzschicht, dem Einbettungsmodell und einem primären Sprachmodell (LLM), das Retrieval-Enhanced Data Generation (RAG) unterstützt.
Ich habe Ollama für die Inferenzschicht verwendet, da es die Einrichtung einer llama.cpp-Datei erheblich vereinfacht. Es ermöglicht das Importieren und Ausführen einer Vielzahl von KI-Modellen mit nur ein oder zwei Befehlen und ist mit den meisten Modellen, die ich verwenden möchte, kompatibel.
Um den Einbettungsprozess zu steuern, experimentiere ich derzeit mit EmbeddingGemma. Dessen größte Einschränkung ist die fehlende Bildverarbeitung. Falls Sie mit Bildern arbeiten müssen oder einfach etwas anderes ausprobieren möchten, ist Qwen3-VL-Embedding eine geeignete Option. Beide Programme sind in so kleinen Versionen verfügbar, dass sie auf jeder modernen GPU laufen. Aktuell aktiviere und deaktiviere ich den Einbetter manuell, plane aber später einen Überwachungsprozess einzurichten, der automatisch startet, sobald eine neue Datei hinzugefügt wird.
Sie können die Benutzeroberfläche wählen, die Ihnen am besten zusagt; AnythingLLM und Open WebUI sind zwei einfache und beliebte Optionen, da sie die meisten komplexen Hintergrundprozesse übernehmen. Ich selbst nutze derzeit AnythingLLM.
Eine lokale Datenbank ist sicher und kostengünstig.
Hört auf, Token für RAG zu verschwenden.
Wenn Sie für einen cloudbasierten KI-Dienst bezahlen, sei es über ein festes Abonnement oder ein Pay-as-you-go-System, macht es keinen Sinn, Geld für einen Dienst auszugeben, den Sie lokal kostenlos erhalten können.
Sobald alles eingerichtet und betriebsbereit ist, fallen lediglich die Stromkosten an. Natürlich spielen auch Ihre Hardware-Spezifikationen eine Rolle. Mit einem Grafikprozessor der Mittelklasse ist die lokale KI sehr schnell. Bei reiner CPU-Nutzung ist sie deutlich langsamer.
Ich bin auch nicht auf einen Desktop-Computer beschränkt. Ich habe Ollama so konfiguriert, dass es auf jedem Gerät in meinem Netzwerk verfügbar ist, ich kann also einfach meinen Laptop oder mein Smartphone verbinden. Die Ergebnisse werden an meinen Gaming-PC gesendet und von diesem empfangen, auf dem das Herzstück des Systems mit einem 5070 Ti-Grafikprozessor läuft.
Das Thema Datenschutz ist weniger wichtig.
Künstliche Intelligenz ist in vielerlei Hinsicht faszinierend, aber man kann Cloud-Modelle nicht als völlig privat betrachten. Es gibt einige erhebliche Probleme.
Zunächst einmal gibt es ein grundlegendes Problem: Wenn Sie eine Datei auf einen KI-Dienst hochladen, wird sie auf unbestimmte Zeit auf einem Webserver gespeichert. Sollte etwas schiefgehen und das KI-Unternehmen gehackt werden, könnte auch Ihre Datei gefährdet sein.
Zweitens gibt es das Problem des Trainings. Die meisten großen KI-Unternehmen ermöglichen es, das Training neuer KI anhand eigener Konversationen zu deaktivieren, doch diese Option lässt sich leicht versehentlich aktiviert. Wenn Sie an einer Datei arbeiten, die aus rechtlichen Gründen vertraulich behandelt werden muss, ist dies inakzeptabel.
Drittens besteht das Problem der unbeabsichtigten Weitergabe. Sowohl ChatGPT als auch Cloude funktionieren so, dass Suchmaschinen Konversationen indexieren können. Das bedeutet, dass theoretisch jemand über Google oder DuckDuckGo auf Ihre geteilte Konversation zugreifen kann.
Die Qualität und Geschwindigkeit der Rohdaten sind jedoch etwas geringer.
Die größte Leistungsschwäche liegt im logischen Denken. Führende Modelle, die typischerweise cloudbasiert sind, weisen bei komplexen analytischen Fragestellungen eine bessere Fähigkeit zum logischen Denken und Analysieren auf als kleine, lokale Modelle.
Man kann einem lokalen KI-System nicht eine große Menge an Dokumentation zur Verfügung stellen und erwarten, dass es daraus neue wissenschaftliche Schlussfolgerungen zieht; die Hindernisse sind zu zahlreich.
Dieses System bildet die Grundlage für die Forschung in all meinen KI-Projekten.
Mein Archiv befindet sich noch im Aufbau, aber ich habe es bereits mit meinem Sprachassistenten verknüpft. Das bedeutet, dass ich alles, was ich herunterlade und hinzufüge, per Sprachbefehl abrufen kann.
Das gesamte System wirkt unglaublich ausgefeilt. Ich kann mich hinsetzen, meinen Discord-Bot oder meinen Sprachassistenten nach einem bestimmten Forschungsthema fragen, das ich eingereicht habe, und sie diskutieren es in Echtzeit mit mir. Anschließend können sie automatisch Fragen zum Inhalt beantworten.
Open-Source-KI kann Forschungsprozesse von einer Reihe sich wiederholender manueller Aufgaben in einen stärker automatisierten und anpassbaren Prozess transformieren. Entscheidend ist, dass die lokale Ausführung der Tools oder auf einem privaten Server den Nutzern im Vergleich zur vollständigen Abhängigkeit von externen Diensten eine größere Kontrolle über ihre Daten ermöglicht.
Wenn Sie sensible Informationen verarbeiten oder wiederkehrende Suchaufgaben durchführen, beginnen Sie damit, nur einen Schritt zu automatisieren, und erweitern Sie dann schrittweise den Arbeitsablauf, während Sie die Berechtigungen und Datenschutzeinstellungen überprüfen, bevor Sie sich vollständig darauf verlassen.
