Az Rclone a nulláról a felhőalapú biztonsági mentések, titkosítás és automatizálás mesterévé válik

Az Rclone a felhőalapú tárolás svájci bicskájává vált Bárki számára, aki nem akar többé középszerű hivatalos kliensekkel, egyéni szkriptekkel és abszurd szolgáltatói korlátozásokkal bajlódni. Egyetlen bináris fájllal és az rsync-hez nagyon hasonló szintaxissal több mint 70 szolgáltatásban kezelheti a biztonsági mentéseket, szinkronizálásokat, csatolásokat és titkosítást: Google Drive, OneDrive, Dropbox, S3, Backblaze B2, Wasabi, pCloud, MEGA, Proton Drive, Nextcloud, WebDAV, SFTP... és még sok más.

Az Rclone szépsége abban rejlik, hogy nem korlátozódik a "fájlok felhőbe másolására"Érti az összes backendet, API-kat használ a nagyobb sebesség érdekében, lehetővé teszi az átlátható titkosítást, a FUSE csatolást, a biztonsági mentések ütemezését és a felhőalapú műveleteket a lemez elérése nélkül. Egy macOS laptoptól vagy egy kis lemezzel rendelkező Raspberry Pi-től egy több terabájtos éles szerverig robusztus, titkosított és automatizált biztonsági mentési stratégiát építhet ki, ha megérti az összetevőit.

Mi az Rclone, és miért érdekesebb a felhőben, mint az rsync?

Az Rclone egy nyílt forráskódú parancssori eszköz A kifejezetten távoli és felhőalapú tárolás kezelésére tervezett Rclone különbözik az rsync-től, amely SSH-n keresztüli helyi vagy távoli fájlok kezelésére szolgál. Az Rclone megérti olyan szolgáltatások API-jait, mint a Google Drive, az S3 és a Dropbox, kezeli azok korlátait, kvótáit és specifikus funkcióit, és magas szintű parancsokat kínál a tartalom listázásához, másolásához, szinkronizálásához, csatolásához és kiszolgálásához.

Gyakran „rsync a felhőhöz” néven emlegetik.De valójában ennél sokkal tovább megy: több mint 70 szolgáltatót támogat, integrálja a titkosítási rétegeket (backend) kripta), egy virtuális fájlrendszer (VFS) stabil összeállításokhoz egy modul chunker nagy fájlok felosztására és egy háttérbeli absztrakciós rétegre, amely ugyanazt a parancsot ugyanúgy működteti a Google Drive-on, az S3-on, a B2-n vagy egy SFTP-n.

Az rsync-hez képest az Rclone számos szempontból kiemelkedő.: kihasználhatja a többszálú átvitel előnyeit (--multi-thread-streams és a paraméterek --transfers / --checkersés jellemzően többszörös sebességet ér el, ha a szűk keresztmetszetet a felhőalapú API-k jelentik. Továbbá megérti az olyan fogalmakat, mint a szemét, a verziók, a napi kvóták és a kéréskorlátok, és specifikus jelzőket biztosít az egyes szolgáltatók optimalizálásához anélkül, hogy bármi is meghibásodna.

A belső architektúra szintjénEz egyetlen bináris fájl, amely egy magot (Rclone Core) és több réteget tartalmaz: VFS-t a csatolásokhoz és a gyorsítótárazáshoz, Crypt-et a kliensoldali titkosításhoz, Chunkert a nagy fájlok fragmentálásához, valamint egy sor háttérrendszert, amelyek az egyes szolgáltatásokkal (S3/R2, Google Drive, B2, WebDAV, SFTP stb.) való specifikus kommunikációt valósítják meg. Ez a modularitás lehetővé teszi például egy távoli S3 szerver kombinálását egy titkosítási réteggel, majd FUSE-on keresztüli csatolását.

Támogatott tárolási szolgáltatások és tipikus használati esetek

Az Rclone által támogatott szolgáltatások katalógusa hatalmasAzonban hasznos egy gyors áttekintést kapni a leggyakoribbakról a biztonsági mentések megfelelő rendszerezéséhez.

Mindennapi felhasználóknak Általában kiemelik:

• Google Drive / Google Fotókszemélyes és üzleti fiókokhoz, beleértve a megosztott meghajtókat (csapatmeghajtókat).
• Microsoft OneDrive és SharePoint: személyes és üzleti szempontból egyaránt.
• Dropbox, Box, MEGA, pCloud, Proton Drive: széles körben használják személyes biztonsági mentésekhez, fényképekhez, dokumentumokhoz és kis adattárakhoz.

Professzionális és fejlesztési környezetben A szokásos dolog az objektumok tárolására szolgál:

• Amazon S3 és kompatibilis (MinIO, Wasabi, Ceph, Oracle stb.) biztonsági mentési tárolókhoz, statikus és archivált tartalmakhoz.
• Google Cloud Storage, Azure Blob y Cloudflare R2 ha már ezekben az ökoszisztémákban vagy.
• Backblaze B2 olcsó alternatívaként nagy mennyiségű hideg adathoz.

Saját üzemeltetésű és otthoni szerverekhezAz Rclone nagyon jól illeszkedik ehhez:

• SFTP/FTP más szerverekkel szemben.
• WebDAV a Nextcloud / ownCloud számára.
• SMB / CIFS y HTTP amikor NAS-t és webszervereket kell integrálnia.

Egy gyakran használt ötlet több felhő kombinálása az "Union" használatával.Létrehozol egy távirányítót union: ami magában foglalja például, gdrive:, onedrive: y dropbox:és úgy működik, mintha egyetlen óriási fájlrendszer lenne. Nagyon hasznos az ingyenes fiókok kihasználásához vagy a biztonsági mentések különböző szolgáltatók közötti elosztásához.

Követelmények, alapvető telepítés és frissítés

Az Rclone könnyű, de nem mágikusEgy kis VPS-en vagy egy kevés RAM-mal rendelkező Raspberry Pi-n fontos ismerni a követelményeit, hogy elkerüljük az agresszív beállításokkal vagy sok párhuzamos átvitellel való túlterhelést.

Hardver- és rendszerszinten, ésszerű hivatkozásként:

• Minimális RAM512 MB (2 GB vagy több agresszív VFS gyorsítótárral rendelkező csatlakoztatásokhoz).
• CPU1 vCPU elég, de 2+-val jobban észrevehetőek a párhuzamos átvitelek.
• TárolásA bináris fájl kevés helyet foglal, de a gyorsítótárnak a paraméterektől függően 1 GB-ra vagy többre is szüksége lehet.
• magA 3.10-es verziótól működik; a modern kernelekkel (5.4+) és a FUSE3-mal az assemblyek simábban futnak.

Ami a telepítést illeti, több lehetőséged is van. attól függően, hogy mit preferálsz: kényelmet, verziókövetést vagy reprodukálhatóságot.

Hivatalos szkript (Linux, ajánlott naprakészen tartani):

curl -fsSL https://rclone.org/install.sh | sudo bash
rclone version

Manuális telepítés .deb csomaggal Debian/Ubuntu rendszeren:

wget https://downloads.rclone.org/v1.71.0/rclone-v1.71.0-linux-amd64.deb
sudo dpkg -i rclone-v1.71.0-linux-amd64.deb
sudo apt -f install   # si pide dependencias

macOS rendszeren a Homebrew a legkényelmesebb megoldás.:

brew install rclone
rclone version --check

Windows rendszeren választhat a telepítő, a winget vagy a Chocolatey között.:

• A ZIP fájl letöltése és távozás rclone.exe en C:\rclone\ és hozzátéve Útvonal.
• Szárnyas szegéllyel:
  winget install Rclone.Rclone
• Csokoládés ízesítésű:
  choco install rclone
choco install winfsp (egységek összeszereléséhez)

A frissítés minden esetben olyan egyszerű, mint fuss:

rclone selfupdate

Első lépések: a „távoli” és interaktív konfiguráció koncepciója

Az Rclone alapegysége a „távirányító”.Egy konfigurációs bejegyzés, amely leírja, hogyan lehet csatlakozni egy adott szolgáltatáshoz. Például: gdrive: személyes Google Drive-hoz, s3-backup: egy S3 vödörhöz vagy nombre_en: egy titkosított mappához.

Mindent az asszisztens irányít. rclone config, amely az alapértelmezett beállításokat menti a ~/.config/rclone/rclone.conf INI formátumban. Ez a fájl aranyat ér: kötelező biztonsági mentés (és még jobb, ha titkosítod).

Gyors példa: Google Drive távoli létrehozása böngészővel rendelkező számítógépen:

rclone config
# n) New remote
# name> gdrive
# Storage> drive
# client_id>      (vacío para usar el cliente por defecto de rclone)
# client_secret> (vacío)
# scope> 1       (acceso completo)
# service_account_file>  (vacío)
# Edit advanced config? n
# Use auto config? y   (abre el navegador, inicias sesión y aceptas permisos)

Grafikus környezet nélküli szerveren a film kicsit megváltozik.Amikor megkérdezi, hogy szeretné-e használni az automatikus beállításokat, válassza a nEgy ilyen parancsot fog megjeleníteni:

rclone authorize "drive"

Ezt a parancsot az asztali számítógépeden hajtod végre., ahol böngésződ van, akkor felhatalmazod a fiókot, és a kapott JSON tokent átmásolod, hogy beilleszthesd a szerverre, amikor a rendszer kéri (config_token> {...}). Ezzel működőképes távoli eszközöd van, még akkor is, ha a szerver fej nélküli.

Egy valós példa: korlátlan és titkosított megosztott Google Drive

Egy ideig keringtek linkek „korlátlan” megosztott meghajtók létrehozására a Google Drive-on egyetemekhez és hasonló intézményekhez kapcsolódóan. Azok, akik kihasználták ezt a trükköt, gyakran „kútként” használják őket nagy mennyiségű multimédiás adat küldésére a szerverükről vagy a Raspberry Pi-ről.

Az ilyen egységek Rclone-nal való használatának tipikus munkafolyamata a következő:

• Szerezd meg a Megosztott meghajtó azonosítója úgy, hogy a böngészőn keresztül beírja, és kimásolja az URL utolsó részét (például 0AKXXD2qTbW50Uk9PVA).
• Hozz létre egy normál Google Drive-távolit (Storage> drive) és a terepen root_folder_id>, illessze be az azonosítót.
• Amikor az Rclone megkérdezi, hogy csapatmeghajtóként kezelje-e, válaszoljon igennel, és válassza ki a kérdéses meghajtót.

Miután hozzáférsz ehhez a meghajtóhoz, a következő logikus lépés a titkosítása.Mert igazából nem tudhatod, hogy ki más láthatja ezeket az adatokat a másik oldalon. Itt jön képbe a háttérrendszer. kripta.

Hozz létre egy titkosított réteget a megosztott meghajtón Valami ilyesmi lenne:

• ismét rclone config → Új távirányító → név például nombre_en.
• választ Tárolás > kripta.
• En remote> tesz nombre: o nombre:carpeta/, ami az előző távoli eszköz (a Drive-ból származó), amely egy mappára mutat.
• Választ fájlnév_titkosítás = szabványos y könyvtár_neve_titkosítás = igaz így a fájl- és könyvtárnevek is obfuszkálódnak.
• Generáljon egy vagy két erős jelszót (password és salt), akár manuálisan, akár a beépített generátorral.

Innentől kezdve minden, amit feltöltöttél ide nombre_en: titkosítva lesz A Google Drive weboldalán pedig furcsa és olvashatatlan neveket fogsz látni. Csak az Rclone tudja ezeket a kulcsokat használva visszafordítani.

Alapvető parancsok: lista, másolás, szinkronizálás és törlés

Az Rclone általános szintaxisa meglehetősen következetes.: rclone <subcomando> origen destino [flags]A trükk az, hogy internalizáljunk néhány parancsot és néhány kulcsfontosságú opciót.

Távoli és tartalom felfedezése neked van:

• rclone listremotes: megjeleníti az összes konfigurált távirányítót.
• rclone ls remote:: fájlok listája mérettel.
• rclone lsd remote:: csak könyvtárak/vödrök.
• rclone tree remote: o rclone tree remote:carpeta -d hogy lássa a faszerű szerkezetet.
• rclone ncdu remote:: interfész típusa ncdu hogy mindennek a méretét lássa anélkül, hogy eltévedne.

Másolás törlés nélkül a célhelyen Azzal készült copy:

# Local → nube
rclone copy /home/usuario/fotos drive:fotos/verano -P

# Nube → local
rclone copy gdrive:Documentos/ ~/Documentos/ -P

# Nube → nube (server-side cuando el backend lo permite)
rclone copy gdrive:proyecto/ s3-backup:proyecto/ -P

A szinkronizálás (tükrözés) a következővel történik: syncÉs itt óvatosnak kell lennünk.mert eltávolítja a célállomásról azt, ami már nem az eredetpont:

# Sincronización unidireccional
rclone sync /srv/data onedrive:data -P

# Simulación sin tocar nada
rclone sync /srv/data onedrive:data --dry-run

Tisztítási műveletekhez Számos hasznos parancs létezik:

• rclone delete remote:carpeta: fájlokat töröl egy elérési útról, könyvtárakat hagy.
• rclone purge remote:carpeta: törli az elérési utat és annak teljes tartalmát.
• rclone rmdirs remote: --leave-root: törli az üres könyvtárakat.
• rclone cleanup drive:: ürítse ki a kukát (például a Google Drive-ban).

A legfontosabb keresztjelzők Azokat fogod állandóan használni:

• -P o --progress hogy lássam a haladást.
• -v, -vv y --log-level a bőbeszédűség növelése érdekében.
• --transfers N y --checkers N a párhuzamosság szabályozására.
• --bwlimit a sávszélesség korlátozására, akár időrésenként is ("08:00,1M 18:00,off").
• --include, --exclude y --filter-from a másolandó dolgok finomhangolásához.

A felhő csatlakoztatása úgy, mintha egy másik lemez lenne (FUSE / VFS)

Az Rclone egyik legfontosabb funkciója a távoli eszközök fájlrendszerként való csatolása.Hihetetlenül hasznos Plex/Jellyfin esetén, a Drive-ban lévő dokumentumokkal való közvetlen munkához, vagy egy S3-vödör olyan alkalmazás számára való elérhetővé tételéhez, amely nem tudja, hogyan kell használni az S3-at.

Linuxon telepíteni és engedélyezni kell a FUSE3-at allow_other en /etc/fuse.conf hogy más felhasználók is hozzáférhessenek a csatoláshoz. Windows rendszeren a WinFsp-re támaszkodik.

Példa a Linuxban történő csatlakoztatásra:

mkdir -p /mnt/gdrive
rclone mount gdrive: /mnt/gdrive \
  --daemon \
  --allow-other \
  --vfs-cache-mode full \
  --vfs-cache-max-size 20G \
  --dir-cache-time 48h \
  --log-file /var/log/rclone/gdrive.log \
  --log-level INFO

Paraméter --vfs-cache-mode Jelölje meg a különbséget a viselkedésről:

• kedvezmény: nincs gyorsítótár; csak egyszerű olvasáshoz.
• minimálisPont annyi, hogy működjenek a dolgok.
• szerint: gyorsítótárazza az írásokat, amíg fel nem töltődnek.
• Tele: gyorsítótárazza az olvasást és írást; ideális multimédiához, irodai alkalmazásokhoz stb., de több lemezterületet igényel.

Ha azt szeretné, hogy a beállítás túlélje az újraindításokatA szokásos gyakorlat egy dedikált systemd szolgáltatás létrehozása. Egy gyakran használt minta a paraméteres szolgáltatás. rclone-remote@.service amely bármilyen távirányítót rögzít /cloud/<nombre> és utána aktiváld a következővel:

sudo systemctl enable --now rclone-gdrive.service

Windows rendszeren csatlakoztassa a OneDrive-ot vagy a Drive-ot X betűként:

rclone mount onedrive: X: --vfs-cache-mode full

Fejlett titkosítás a kriptográfiai háttérrel és a konfiguráció biztonságával

Ha van egy dolog, amit komolyan kell venni az Rclone-nal kapcsolatban, az a biztonság.: a fájl rclone.conf OAuth tokeneket, S3 hozzáférési kulcsokat, titkosított jelszavakat tartalmaz… és bárki, aki lemásolja, gyakorlatilag hozzáférhet a felhőidhez.

a hátsó vége crypt Lehetővé teszi fájlok, fájlnevek és könyvtárnevek titkosítását. átláthatóan. A konfiguráláskor a következőket választhatja:

• távoli: az alapul szolgáló háttérrendszer (például gdrive:encrypted).
• fájlnév_titkosítás: off, standard u obfuscate.
• könyvtár_neve_titkosítás: igaz/hamis.
• jelszó y password2 (opcionális só).

A kapott konfiguráció így néz ki (összefoglalva):

[gdrive-crypt]
type = crypt
remote = gdrive:encrypted/
password = ENCRYPTED_PASSWORD_HASH
password2 = ENCRYPTED_SALT_HASH
filename_encryption = standard
directory_name_encryption = true

Az Rclone lehetővé teszi a saját konfigurációs fájl titkosítását is.így még ha valaki el is lopja, a mesterjelszó nélkül nem tudja majd elolvasni a titkokat:

rclone config password
# te pedirá una contraseña y a partir de ese momento
# Rclone te la pedirá en cada ejecución

Szkriptek automatizálása jelszó beírása nélkül A cronban vagy a systemd-ben használhatod a környezeti változót RCLONE_CONFIG_PASS vagy egy kis szkript, amely egy védett fájlból (root tulajdonos, 600 jogosultság) vagy egy titkoskezelőből olvasva exportálja azt:

export RCLONE_CONFIG_PASS="contraseña_muy_larga"
rclone lsd gdrive: --ask-password=false

Teljesítményoptimalizálás: nagy fájlok, sok kis fájl és korlátok

Alapértelmezés szerint az Rclone egészen jól működik, de néhány módosítással sokkal többet ki lehet hozni belőle.különösen terabájtos adat vagy több millió kis fájl mozgatásakor.

Nagy fájlok esetén (VM-képek, tömörített biztonsági mentések, hosszú videók) fontos a töredékek méretének és a párhuzamosságnak a növelése:

rclone copy backup.tar.gz gdrive:backups \
  --drive-chunk-size=256M \
  --transfers=8 \
  --progress

Sok kis fájlhoz (fotók, naplók, statikus oldalak) a dámák és az átutalások száma fontosabb, és a használat --fast-list Ha a RAM engedi:

rclone copy fotos/ onedrive:fotos/ \
  --transfers=32 \
  --checkers=16 \
  --fast-list \
  --progress

Amikor a sávszélesség- vagy API-korlátokat be kell tartani (mint például a híres 750 GB/nap feltöltési korlát a Google Drive-ra vagy a másodpercenkénti kérések korlátozása), olyan eszközök állnak rendelkezésre, mint:

• --bwlimit "08:00,1M 18:00,off" hogy munkaidőben lassan menjen, és éjszaka nyissa ki a csapot.
• --tpslimit y --tpslimit-burst 403-as „sebességkorlát túllépése” hibákat tartalmaz.

Automatizált biztonsági mentések: cron, systemd és teljes szkriptek

hogy egy rclone copy A kézikönyv tesztelésre alkalmasDe az érdekes az ismétlődő biztonsági mentések ütemezése, naplókkal, verzióváltással és értesítésekkel, ha valami rosszul megy.

Linuxon a legegyszerűbb módja a cron használataPéldául, ha minden este 2:00-kor dokumentumszinkronizálást szeretne futtatni a Google Drive-val:

crontab -e

0 2 * * * /usr/bin/rclone sync /home/user/documents gdrive:backup \
  --log-file=/var/log/rclone-backup.log --log-level=INFO

Ha komolyabbra vágysz, zárolással, tartásba helyezési lehetőséggel és értesítésekkelÉrdemes egy erre a célra létrehozott szkriptet használni. Egy tipikus séma a következőket tartalmazza:

• Változók származási, célhelyi, sávszélesség-korlátokkal és megőrzési napokkal.
• Használata flock vagy egy zárolófájlt az egyidejű példányok megakadályozására.
• Használata --backup-dir és utótagok .bak verziókezeléshez.
• Régi biztonsági mentések tisztítása a következővel: --min-age y --rmdirs.
• Opcionális értesítések küldése a Slack/Discord/Email címre hiba esetén.

Ha a systemd-t részesíted előnyben a cronnal szemben, definiálhatsz egy rclone-backup.service amely végrehajtja a szkriptet, és egy rclone-backup.timer amely a kadenciát jelöli (például 2:00-kor egy kis véletlenszerű elemmel, hogy ne mindig essen egybe).

Grafikus felületek és használat Androidon

Nem mindenki érzi jól magát a parancssorralBizonyos feladatoknál (tartalom feltárása, annak ellenőrzése, hogy valami a helyén van-e) egy grafikus felhasználói felület időt takaríthat meg.

Az Rclone hivatalos webes grafikus felületet kínál (kísérleti, de funkcionális), amely a következővel emelkedik:

rclone rcd --rc-web-gui --rc-user=admin --rc-pass=password
# luego abres http://localhost:5572 en el navegador

Ezenkívül léteznek harmadik féltől származó grafikus felhasználói felületek, mint például az Rclone Browser, vagy modern forkok, mint például az „Rclone UI”.Ezek az eszközök lehetővé teszik a húzással és elengedéssel történő műveleteket, a feladatok ütemezését egy ablakból, valamint a folyamat vizuálisan vonzó módon történő megtekintését. Linux rendszeren telepíthetők tárolókból, vagy AppImage segítségével; vannak Docker képek is, amelyek egy HTTP porton teszik elérhetővé a felületet.

Androidon a trükk az, hogy újra felhasználjuk a fájlunkat rclone.confSok Rclone kliensalkalmazás lehetővé teszi az importálást (vagy egy mappába helyezést). rclone/ (a belső memóriában), és onnan hozzáférhet az összes definiált távirányítóhoz, akárcsak a szerveren. Ideális titkosított multimédiás tartalmak streameléséhez mobileszközéről.

Gyakori problémák elhárítása és diagnózis

A felhőalapú API-kkal való munka hitelesítési hibákkal és szolgáltatási korlátokkal jár.Sok gondtól megkímél minket, ha tudjuk, hogyan kell elolvasni az üzenetet, és kéznél van a megfelelő zászló.

Hitelesítési hibák („nem sikerült létrehozni az OAuth klienst” vagy lejárt tokenek) Általában a következőkkel vannak rögzítve:

• rclone config reconnect remote: a hitelesítő adatok megújításához.
• Szélsőséges esetekben törölje a távirányítót, és konfigurálja újra.

403-as sebességkorlátozási hibák, különösen a Google Drive-banCsökkennek az agresszivitás csökkentésével:

rclone copy source: dest: \
  --transfers 2 --checkers 4 \
  --tpslimit 2 --tpslimit-burst 0

Ha egy FUSE mount „engedély megtagadva” hibát ad vissza, ellenőrizd:

• Miben /etc/fuse.conf az opciót user_allow_other kommentálatlan.
• Mivel lovagolsz? --allow-other és a megfelelő felhasználó.

Ha gyanítja, hogy a szinkronizálás után hiányoznak a fájlokAz egészséges dolog a következő:

• Miután korábban próbáltam --dry-run.
• Használat rclone check origen destino --one-way és tekintse át az összevont jelentést.
• Ellenőrizze a mintákat --exclude / --include hogy talán többet szivárogtattak a kelleténél.

Finom finomításhoz, -vv és a zászlók --dump headers / --dump bodies Megjelenítik az Rclone által küldött HTTP-kéréseket, és rclone backend features remote: o rclone test Segítenek pontosan látni, hogy mit támogat az egyes háttérrendszerek, és hogyan teljesít a kapcsolat.

Végső soron az Rclone lehetővé teszi, hogy bármit felcsatolj, a Dropboxban lévő Dokumentumok mappa szerény biztonsági mentésétől kezdve a többfelhős replikációs rendszerig, titkosítással, állandó csatolásokkal és Prometheus-szal történő monitorozással.A tanulási görbe eleinte kicsit ijesztő lehet, de ahogy elsajátítod rclone config, copy, sync, mount y cryptA többi már csak rétegek hozzáadása: automatizálás cronnal vagy systemd-vel, fejlett szűrés, részletes naplók és kisebb teljesítménybeli finomhangolások, hogy a hálózati és felhőalapú környezetekhez igazodjon. Ha ezeket a darabokat összeillesztetted, akkor már nem csak "csak egy újabb konzoleszköz", hanem csendes pillérré válik, amely biztonságban, titkosítva és redundánsan tartja az adataidat anélkül, hogy minden nap gondolnod kellene rá.