Reader

Nachdem ich kürzlich meine Calckey-Instanz gelöscht hatte, blieb das gut gefüllte Bucket mit dem Calckey-Cache im S3 Storage zurück. Contabo erlaubt leider lediglich, leere Buckets zu löschen, also musste ich erst einmal alle Dateien im Bucket löschen.

Ich habe verschiedene Methoden ausprobiert, um auf das Bucket zugreifen zu können. Mein erster Versuch mit FileZilla Pro scheiterte bedauerlicherweise, da dieses Programm nicht mit dem S3 Storage von Contabo kompatibel ist.

Schließlich habe ich mich für Goofys entschieden, ein Programm, um unter Linux ein Bucket zu mounten. Nachdem ich das Bucket gemountet hatte, konnte ich die Dateien löschen – wofür ich bei 310 GB, die sich angesammelt hatten, tatsächlich viele, viele Stunden benötigte. Insgesamt lief die Aktion über dreieinhalb Tage...

Contabo beschreibt die Einrichtung und Verwendung von Goofys hervorragend:

https://docs.contabo.com/docs/products/Object-Storage/Tools/goofys/

Unter Ubuntu 22.04 funktionierte Goofys sofort und problemlos. Nach dem Mounten des Buckets konnte ich mit dem Datei-Manager meines Vertrauens (Midnight Commander) die Dateien löschen.

Dabei habe ich festgestellt, dass die Leistungsfähigkeit des PCs eine große Rolle spielt. Ich habe zwei PCs, einen Mini-PC mit recht geringer Leistung und einen leistungsfähigen Desktop-PC, den ich schließlich wegen der Geschwindigkeit dafür verwendet habe.

Inzwischen nutze ich Goofys auch, um sowohl auf meinem Server als auch auf meinem PC zu Hause ein S3-Bucket als externen Speicher für per BitTorrent heruntergeladene Dateien (etwa die Installationsdateien für LibreOffice) zu mounten. Dank Eintrag in /etc/fstab wird das Bucket schon beim Booten gemountet.

Ich habe eine Calckey-Instanz betrieben – und wollte dafür den schon vorhandenen und bisher für Mastodon, Nextcloud und Pixelfed verwendeten S3 Storage bei Contabo nun auch dafür verwenden.

Das Herausfinden der nötigen Einstellungen hat sich als etwas komplizierter herausgestellt, sodass ich sie an dieser Stelle teilen möchte. Vielleicht ist es für manche Calckey- oder Firefish-Admin*a hilfreich.

Zu Beginn müsst Ihr folgende Daten parat haben:

• ACCESS_KEY: Der Access-Key Eurer S3 Object Storage Anmeldeinformationen
• SECRET_KEY: Der Secret-Key Eurer S3 Object Storage Anmeldeinformationen
• REGION: Die Region (aus der Bucket-URL entnehmen, z. B. eu2)
• BUCKET-NAME: Der Name Eures Buckets im S3 Storage
• TENANT-ID: Die Tenant-ID Eures S3 Storage (für alle Buckets identisch)

Die Tenant-ID herauszufinden ist etwas kompliziert. Klickt dazu im Object Storage Panel auf „öffentliches Teilen“ (zweites Icon von rechts neben dem Bucket) und dann auf „Veröffentlichen“.

Ihr erhaltet nun eine URL, z.B. https://eu2.contabostorage.com/447c...:bucket (hier stark gekürzt).

Die sehr lange hexadezimale Ziffernfolge 447c... (der Doppelpunkt gehört nicht mehr dazu) ist Eure Tenant-ID, die Ihr Euch notiert. Klickt jetzt auf Abbrechen; denn für den Betrieb darf das Bucket nicht öffentlich geteilt sein.

Öffnet nun die Systemsteuerung Eurer Calckey-Instanz und wählt dort den Eintrag Object Storage.

Dort tragt Ihr folgende Werte ein:

Basis-URL: https://REGION.contabostorage.com/TENANT-ID:BUCKET-NAME Bucket: BUCKET-NAME Prefix: Ein beliebiges Prefix, z.B. calckey Endpoint: https://REGION.contabostorage.com Region: “REGION” (z.B. “EU2”) Access Key: ACCESS_KEY Secret Key: SECRET_KEY

Und aktiviert die Optionen:

• SSL verwenden
• Bei Upload auf “public read” stellen
• s3ForcePathStyle

Falls Ihr einen Proxy für den Objektspeicher verwendet, aktiviert auch die entsprechende Option.

Zum Schluß speichert Ihr die Einstellungen ab.

Von nun an sollte Calckey den S3 Storage von Contabo verwenden.

Update

Ich habe meine Calckey-Instanz mittlerweile wieder gelöscht.

Dabei habe ich festgestellt: Calckey weist offenbar kein Cache-Management auf, mit dessen Hilfe ältere Dateien aus dem Cache (im S3 Storage) gelöscht werden, wie es etwa bei Mastodon der Fall ist. So langen Tausende Dateien, vorwiegend Bilder, im Cache – rund 310 GB an Daten, die ich löschen musste.

Ich betreibe eine Pixelfed-Instanz – und wollte dafür den schon vorhandenen und bisher für Mastodon und Nextcloud verwendeten S3 Storage bei Contabo nun auch dafür verwenden.

Das Herausfinden der nötigen Einstellungen hat sich als etwas komplizierter herausgestellt, sodass ich sie an dieser Stelle teilen möchte. Vielleicht ist es für manche Pixelfed-Admin*a hilfreich.

Zu Beginn müsst Ihr folgende Daten parat haben:

• ACCESS_KEY: Der Access-Key Eurer S3 Object Storage Anmeldeinformationen
• SECRET_KEY: Der Secret-Key Eurer S3 Object Storage Anmeldeinformationen
• REGION: Die Region (aus der Bucket-URL entnehmen, z. B. eu2)
• BUCKET-NAME: Der Name Eures Buckets im S3 Storage
• TENANT-ID: Die Tenant-ID Eures S3 Storage (für alle Buckets identisch)

Die Tenant-ID herauszufinden ist etwas kompliziert. Klickt dazu im Object Storage Panel auf „öffentliches Teilen“ (zweites Icon von rechts neben dem Bucket) und dann auf „Veröffentlichen“.

Ihr erhaltet nun eine URL, z.B. https://eu2.contabostorage.com/447c...:bucket (hier stark gekürzt).

Die sehr lange hexadezimale Ziffernfolge 447c... (der Doppelpunkt gehört nicht mehr dazu) ist Eure Tenant-ID, die Ihr Euch notiert. Klickt jetzt auf Abbrechen; denn für den Betrieb darf das Bucket nicht öffentlich geteilt sein.

Wechselt anschließend auf Eurem Server in das Pixelfed-Verzeichnis, z.B. /var/www/pixelfed.

Öffnet die Datei .env in einem Editor und tragt dort folgende Einstellungen ein:

PF_ENABLE_CLOUD=true FILESYSTEM_CLOUD=s3 FILESYSTEM_DRIVER=local AWS_ACCESS_KEY_ID=ACCESS_KEY AWS_SECRET_ACCESS_KEY=SECRET_KEY AWS_DEFAULT_REGION=“REGION” (z.B. “EU2”) AWS_BUCKET=BUCKET-NAME AWS_URL=https://REGION.contabostorage.com/TENANT-ID:BUCKET-NAME AWS_ENDPOINT=https://REGION.contabostorage.com AWS_USE_PATH_STYLE_ENDPOINT=true

Optional könnt Ihr noch eintragen:

PF_LOCAL_AVATAR_TO_CLOUD=true MEDIA_DELETE_LOCAL_AFTER_CLOUD=true

In der Regel schreibt Ihr alles klein. Lediglich bei AWS_DEFAULT_REGION schreibt Ihr die Region in Großbuchstaben und in doppelten Anführungszeichen, z.B. “EU2”.

Speichert nun die Datei ab.

Danach gebt Ihr (als HTTP-Benutzer) folgenden Befehl ein:

php artisan config:cache

z.B. bei Ubuntu mit PHP 8.1:

sudo -u www-data php8.1 artisan config:cache

Zum Schluss ruft Ihr Eure Pixelfed-Instanz im Browser auf (mit Eurem Admin-Konto) und geht in den Administrationsbereich. Hier aktiviert Ihr, falls noch nicht geschehen, das Feature „Cloud Storage“ und speichert die Einstellungen ab.

Ab jetzt sollten neue Images, Avatare usw. in den S3 Storage geladen werden. Das könnt Ihr z. B. im Firefox mit der Netzwerkanalyse unter Überprüfen kontrollieren.

Test 1