Hintergrundentfernung: Ein Blick auf das RMBG-1.4 Modell von BRIA AI

Einführung

Die digitale Bildbearbeitung hat in den letzten Jahren enorme Fortschritte gemacht. Eine der bedeutendsten Entwicklungen ist die Hintergrundentfernung, die in verschiedenen Branchen wie E-Commerce, Gaming und Werbung weit verbreitet ist. Eines der führenden Modelle in diesem Bereich ist das RMBG-1.4 Modell von BRIA AI. In diesem Artikel werfen wir einen detaillierten Blick auf dieses Modell, seine Funktionen und seinen Einfluss auf die Industrie.

Das RMBG-1.4 Modell

Das RMBG-1.4 Modell von BRIA AI ist ein fortschrittliches Hintergrundentfernungsmodell, das entwickelt wurde, um effektiv den Vordergrund vom Hintergrund in einer Vielzahl von Kategorien und Bildtypen zu trennen. Das Modell wurde auf einem sorgfältig ausgewählten Datensatz trainiert, der allgemeine Stockbilder, E-Commerce, Gaming und Werbeinhalte umfasst, was es für kommerzielle Anwendungsfälle geeignet macht.

Training und Datensatz

Das RMBG-1.4 Modell wurde mit über 12.000 hochauflösenden, manuell beschrifteten Bildern mit pixelgenauer Genauigkeit trainiert. Der Datensatz umfasst:

- Allgemeine Stockbilder - E-Commerce-Bilder - Gaming-Inhalte - Werbeinhalte

Die Bilder wurden sorgfältig ausgewählt, um eine ausgewogene Verteilung bezüglich Geschlecht, Ethnie und Menschen mit unterschiedlichen Behinderungen zu gewährleisten.

Kategorien und Verteilung

Die Verteilung der Bilder im Datensatz nach Kategorien ist wie folgt:

- Objekte: 45.11% - Menschen mit Objekten/Tieren: 25.24% - Nur Menschen: 17.35% - Menschen/Objekte/Tiere mit Text: 8.52% - Nur Text: 2.52% - Nur Tiere: 1.89%

Fotorealistische vs. Nicht-Fotorealistische Bilder

Die Bilder wurden außerdem in fotorealistische und nicht-fotorealistische Kategorien unterteilt:

- Fotorealistisch: 87.70% - Nicht-Fotorealistisch: 12.30%

Hintergrundtypen

Die Verteilung der Bilder nach Hintergrundtypen ist wie folgt:

- Nicht-solider Hintergrund: 52.05% - Solider Hintergrund: 47.95%

Hauptvordergrundobjekte

Die Verteilung der Bilder nach der Anzahl der Hauptvordergrundobjekte ist wie folgt:

- Ein Hauptvordergrundobjekt: 51.42% - Mehrere Objekte im Vordergrund: 48.58%

Architektur und Leistungsbewertung

Das RMBG-1.4 Modell basiert auf dem IS-Net und wurde mit einem einzigartigen Trainingsschema und proprietären Datensatzmodifikationen entwickelt. Diese Verbesserungen erhöhen die Genauigkeit und Effektivität des Modells in verschiedenen Bildverarbeitungsszenarien erheblich.

Qualitative Bewertung

Das Modell wurde qualitativ bewertet und zeigte herausragende Ergebnisse in verschiedenen Szenarien. Es wurde erfolgreich in verschiedenen Anwendungen wie E-Commerce-Websites und Gaming-Plattformen eingesetzt.

Anwendungsfälle und Installation

Das RMBG-1.4 Modell ist ideal für Anwendungen, bei denen die Sicherheit von Inhalten, rechtlich lizenzierte Datensätze und Verzerrungsminderung von entscheidender Bedeutung sind. Es kann für nicht-kommerzielle Zwecke unter einer Creative Commons-Lizenz verwendet werden, während kommerzielle Nutzungen einer kommerziellen Vereinbarung mit BRIA AI unterliegen.

Installation

Das Modell kann einfach installiert und verwendet werden. Die Installation erfolgt über das Klonen des Repositorys und das Installieren der erforderlichen Abhängigkeiten:

- git clone https://huggingface.co/briaai/RMBG-1.4 - cd RMBG-1.4/ - pip install -r requirements.txt

Verwendung

Das Modell kann entweder als Pipeline oder durch direktes Laden des Modells verwendet werden. Hier sind einige Beispiele:

- Verwendung der Pipeline:

        from transformers import pipeline
        image_path = "https://farm5.staticflickr.com/4007/4322154488_997e69e4cf_z.jpg"
        pipe = pipeline("image-segmentation", model="briaai/RMBG-1.4", trust_remote_code=True)
        pillow_mask = pipe(image_path, return_mask = True) # outputs a pillow mask
        pillow_image = pipe(image_path) # applies mask on input and returns a pillow image
        

- Direktes Laden des Modells:

        from transformers import AutoModelForImageSegmentation
        from torchvision.transforms.functional import normalize
        model = AutoModelForImageSegmentation.from_pretrained("briaai/RMBG-1.4",trust_remote_code=True)
        def preprocess_image(im: np.ndarray, model_input_size: list) -> torch.Tensor:
            if len(im.shape) < 3:
                im = im[:, :, np.newaxis]
            im_tensor = torch.tensor(im, dtype=torch.float32).permute(2,0,1)
            im_tensor = F.interpolate(torch.unsqueeze(im_tensor,0), size=model_input_size, mode='bilinear')
            image = torch.divide(im_tensor,255.0)
            image = normalize(image,[0.5,0.5,0.5],[1.0,1.0,1.0])
            return image
        def postprocess_image(result: torch.Tensor, im_size: list)-> np.ndarray:
            result = torch.squeeze(F.interpolate(result, size=im_size, mode='bilinear') ,0)
            ma = torch.max(result)
            mi = torch.min(result)
            result = (result-mi)/(ma-mi)
            im_array = (result*255).permute(1,2,0).cpu().data.numpy().astype(np.uint8)
            im_array = np.squeeze(im_array)
            return im_array
        device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
        model.to(device)
        image_path = "https://farm5.staticflickr.com/4007/4322154488_997e69e4cf_z.jpg"
        orig_im = io.imread(image_path)
        orig_im_size = orig_im.shape[0:2]
        image = preprocess_image(orig_im, model_input_size).to(device)
        result=model(image)
        result_image = postprocess_image(result[0][0], orig_im_size)
        pil_im = Image.fromarray(result_image)
        no_bg_image = Image.new("RGBA", pil_im.size, (0,0,0,0))
        orig_image = Image.open(image_path)
        no_bg_image.paste(orig_image, mask=pil_im)
        

Beliebtheit und Downloads

Das RMBG-1.4 Modell hat in der Community große Beliebtheit erlangt. Es wurde bereits über 1,7 Millionen Mal heruntergeladen und in zahlreichen Projekten und Anwendungen eingesetzt. Diese hohe Downloadzahl unterstreicht die Leistungsfähigkeit und Vielseitigkeit des Modells.

Andere Modelle

Ein weiteres bemerkenswertes Modell im Bereich der Hintergrundentfernung ist BiRefNet, das in seinem ersten Monat 30.000 Downloads erreicht hat. Dieses Modell hat sich ebenfalls als äußerst effektiv erwiesen und wird in verschiedenen Anwendungen genutzt.

Zukunft der Hintergrundentfernung

Die Zukunft der Hintergrundentfernung sieht vielversprechend aus. Mit der kontinuierlichen Entwicklung neuer Modelle und der Verbesserung bestehender Modelle wie RMBG-1.4 und BiRefNet wird die Technologie immer präziser und vielseitiger. Diese Fortschritte werden weiterhin die Art und Weise verändern, wie wir digitale Inhalte erstellen und konsumieren.

Fazit

Das RMBG-1.4 Modell von BRIA AI hat sich als ein führendes Werkzeug zur Hintergrundentfernung etabliert. Mit seiner hohen Genauigkeit, Effizienz und Vielseitigkeit setzt es neue Maßstäbe in der Bildbearbeitung. Die kontinuierliche Weiterentwicklung und die zunehmende Beliebtheit dieser Technologie versprechen spannende Entwicklungen in der Zukunft.

Bibliographie

https://huggingface.co/briaai/RMBG-1.4 https://huggingface.co/spaces/ECCV2022/dis-background-removal https://huggingface.co/JCTN/RMBG-1.4 https://huggingface.co/briaai/RMBG-1.4/blob/fa91375b83fc0cbd52d1236fc3aa2f1daa525ab1/README.md https://huggingface.co/posts/Xenova/262978955052408 https://huggingface.co/spaces/Xenova/remove-background-web https://huggingface.co/models?other=background-removal https://huggingface.co/schirrmacher/ormbg