Wähle deine bevorzugte Option:
für Einzelnutzer
für Teams und Unternehmen
Von der ersten Idee bis zur voll integrierten KI-Lösung – strukturiert, sicher und mit messbarem Erfolg
Wir analysieren Ihre Geschäftsprozesse und identifizieren konkrete Use Cases mit dem höchsten ROI-Potenzial.
✓ Messbare KPIs definiert
Vollständige Datenschutz-Analyse und Implementierung sicherer Datenverarbeitungsprozesse nach EU-Standards.
✓ 100% DSGVO-konform
Maßgeschneiderte Auswahl der optimalen KI-Lösung – von Azure OpenAI bis zu Open-Source-Alternativen.
✓ Beste Lösung für Ihren Fall
Schneller Proof of Concept mit nahtloser Integration in Ihre bestehende IT-Infrastruktur und Workflows.
✓ Ergebnisse in 4-6 Wochen
Unternehmensweiter Rollout mit umfassenden Schulungen für maximale Akzeptanz und Produktivität.
✓ Ihr Team wird KI-fit
Die Harvard Library hat in Zusammenarbeit mit Forschenden einen umfangreichen Datensatz mit dem Namen "Institutional Books 1.0" veröffentlicht. Dieser umfasst 242 Milliarden Token, extrahiert aus 983.004 gemeinfreien Büchern, die im Rahmen des Google Books Projekts digitalisiert wurden. Der Datensatz bietet enormes Potenzial für das Training und die Weiterentwicklung von großen Sprachmodellen (LLMs) und stellt einen wichtigen Schritt in Richtung offener und nachhaltiger Datenbereitstellung dar.
Die Qualität von LLMs hängt maßgeblich von den Daten ab, mit denen sie trainiert werden. Je größer, vielfältiger und qualitativ hochwertiger die Trainingsdaten sind, desto besser können die Modelle Sprache verstehen, generieren und komplexe Zusammenhänge erfassen. Bisher mangelte es jedoch an frei verfügbaren Datensätzen dieser Größenordnung und Qualität. "Institutional Books 1.0" adressiert genau diese Herausforderung und ermöglicht Forschenden und Entwicklern weltweit den Zugriff auf einen umfangreichen Korpus historischer Texte.
Der Datensatz umfasst einen Großteil der im Rahmen des Google Books Projekts digitalisierten Bestände der Harvard Library. Von den ursprünglich 1.075.899 gescannten Bänden, die in über 250 Sprachen verfasst sind und insgesamt etwa 250 Milliarden Token umfassen, wurden die 983.004 gemeinfreien Werke für "Institutional Books 1.0" ausgewählt. Der Datensatz enthält sowohl den extrahierten Text (im Original und nachbearbeitet) als auch die zugehörigen Metadaten (bibliografisch, Quelle und generiert).
Die Erstellung von "Institutional Books 1.0" war ein komplexer Prozess. Die Digitalisierung der Bücher mittels OCR-Technologie (Optical Character Recognition) stellte die erste Hürde dar. Die Qualität der OCR-Ergebnisse variiert je nach Zustand und Druckqualität der Originalwerke. Daher wurden die extrahierten Texte einer Nachbearbeitung unterzogen, um Fehler zu korrigieren und die Genauigkeit zu verbessern. Die Identifizierung und Kennzeichnung gemeinfreier Werke war ein weiterer wichtiger Schritt, um die rechtlichen Rahmenbedingungen einzuhalten.
Mit der Veröffentlichung von "Institutional Books 1.0" eröffnen sich neue Möglichkeiten für die Forschung und Entwicklung im Bereich der Künstlichen Intelligenz. Der Datensatz kann für das Training neuer LLMs verwendet werden, aber auch zur Verbesserung bestehender Modelle. Die detaillierten Metadaten ermöglichen zudem eine gezielte Auswahl von Texten für spezifische Anwendungsfälle. Die Harvard Library und die beteiligten Forschenden hoffen, dass "Institutional Books 1.0" als Vorbild für weitere Initiativen zur Bereitstellung hochwertiger Trainingsdaten dient und die Entwicklung von LLMs nachhaltig prägt. Die Veröffentlichung des Datensatzes auf Plattformen wie Hugging Face unterstreicht den Fokus auf Zugänglichkeit und gemeinschaftliche Nutzung.
Für Unternehmen wie Mindverse, die sich auf die Entwicklung von KI-Lösungen spezialisiert haben, bietet "Institutional Books 1.0" eine wertvolle Ressource. Der Datensatz kann zur Verbesserung der eigenen Sprachmodelle und zur Entwicklung neuer, innovativer Anwendungen genutzt werden. Die verbesserte Qualität der LLMs durch Training mit hochwertigen Daten kommt letztlich den Kunden von Mindverse zugute, indem sie präzisere, zuverlässigere und leistungsfähigere KI-Lösungen erhalten. Die Verfügbarkeit solcher Datensätze stärkt die gesamte KI-Landschaft und fördert die Entwicklung von zukunftsweisenden Technologien.
Bibliographie: - https://arxiv.org/abs/2506.08300 - https://paperreading.club/page?id=315391 - https://huggingface.co/papers - https://doi.org/10.7910/DVN/R1HKVSLernen Sie in nur 30 Minuten kennen, wie Ihr Team mit KI mehr erreichen kann – live und persönlich.
🚀 Demo jetzt buchen