Skip to content

About

Repository relativo al paper CVPR21 TimeLens: Event-based Video Frame Interpolation, adattato per macOS ARM (Apple Silicon) con esecuzione basata MPS e configurazione tramite Miniforge.

Resources

Stars

0 stars

Watchers

0 watching

Forks

 
 

Repository files navigation

TimeLens: Event-based Video Frame Interpolation - Apple Silicon (MPS)

TimeLens

Questo repository è una versione adattata per macOS ARM (Apple Silicon) del progetto TimeLens, descritto nel paper TimeLens: Event-based Video Frame Interpolation, presentato al CVPR 2021 da Stepan Tulyakov*, Daniel Gehrig*, Stamatios Georgoulis, Julius Erbach, Mathias Gehrig, Yuanyou Li, e Davide Scaramuzza.

Per maggiori informazioni, visita la pagina del progetto.


Gallery

Per ulteriori esempi, visita la pagina del progetto.

coke paprika pouring water_bomb_floor


Installazione

Questa versione è ottimizzata per macOS ARM (Apple Silicon) e utilizza Miniforge per la configurazione dell'ambiente Conda. CUDA non è richiesto, e l'esecuzione è basata su MPS.

1. Installazione di Miniforge

Per installare Miniforge in modo semplice e gestibile, si consiglia di utilizzare Homebrew. Eseguire il seguente comando per installare Miniforge:

brew install --cask miniforge

Configurare Miniforge per la shell Zsh

Dopo l'installazione, è necessario configurare Miniforge per funzionare correttamente con la shell Zsh. Esegui il seguente comando per inizializzare Conda e riavvia il terminale:

conda init

Se il comando sopra non risolve il problema, aggiungi manualmente il seguente blocco di configurazione al tuo file .zshrc:

nano ~/.zshrc

Copia e incolla il seguente codice nel file .zshrc:

export PATH="/opt/homebrew/Caskroom/miniforge/base/bin:$PATH"

Salva il file (CTRL+O, poi Invio) ed esci (CTRL+X). Successivamente, ricarica il file .zshrc con:

source ~/.zshrc

Se si riscontrano problemi cancella export PATH="/opt/homebrew/Caskroom/miniforge/base/bin:$PATH" e incolla questo:

# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/opt/homebrew/Caskroom/miniforge/base/bin/conda' 'shell.zsh' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
    eval "$__conda_setup"
else
    if [ -f "/opt/homebrew/Caskroom/miniforge/base/etc/profile.d/conda.sh" ]; then
        . "/opt/homebrew/Caskroom/miniforge/base/etc/profile.d/conda.sh"
    else
        export PATH="/opt/homebrew/Caskroom/miniforge/base/bin:$PATH"
    fi
fi
unset __conda_setup
# <<< conda initialize <<<

Salva nuovamente il file e ricarica tramite:

source ~/.zshrc

Verifica dell'installazione

Assicurati che Miniforge sia stato configurato correttamente eseguendo:

conda --version

Se tutto è configurato correttamente, dovresti vedere una versione di Conda, ad esempio:

conda 23.x.x

2. Clonare il repository

Clonare il codice del progetto:

mkdir ~/timelens/
cd ~/timelens
git clone https://github.com/marcellorussox/rpg_timelens-MacOSXarm64.git rpg_timelens
cd rpg_timelens

3. Creazione dell'ambiente Conda

Creare un ambiente Conda e installare le dipendenze richieste:

conda create --name timelens --file environment.txt
conda activate timelens
brew install ffmpeg

4. Scaricare i dati di esempio e il modello pre-addestrato

Scaricare i dati di esempio e il checkpoint per l’interpolazione:

brew install wget
wget http://download.ifi.uzh.ch/rpg/web/data/timelens/data2/checkpoint.bin
wget http://download.ifi.uzh.ch/rpg/web/data/timelens/data2/example_github.zip
unzip example_github.zip
rm -rf example_github.zip

Esecuzione

Per eseguire TimeLens con i dati forniti:

skip=0
insert=7
python -m timelens.run_timelens checkpoint.bin example/events example/images example/output $skip $insert
  • checkpoint.bin: Il modello pre-addestrato.
  • example/events e example/images: I dati di input (eventi e immagini).
  • example/output: La directory in cui verranno salvati i frame interpolati.
  • skip e insert: Parametri che determinano quanti frame saltare e quanti interpolare. Ad esempio:
    • insert=7 inserisce 7 frame intermedi per ogni coppia di frame.

Creazione del video

Dopo aver generato i frame interpolati, è possibile combinare le immagini in un video:

ffmpeg -i example/output/%06d.png timelens.mp4

Il video risultante sarà salvato come timelens.mp4.


Dataset

Per test più avanzati, è possibile scaricare il dataset completo dalla pagina ufficiale del progetto. La struttura del dataset è la seguente:

.
├── close
│   └── test
│       ├── baloon_popping
│       │   ├── events_aligned
│       │   └── images_corrected
│       ├── candle
│       │   ├── events_aligned
│       │   └── images_corrected
│       ...
│
└── far
    └── test
        ├── bridge_lake_01
        │   ├── events_aligned
        │   └── images_corrected
        ├── bridge_lake_03
        │   ├── events_aligned
        │   └── images_corrected
        ...

Ogni cartella events_aligned contiene file .npz che rappresentano gli eventi tra due immagini consecutive. Ogni file .npz include:

  • x e y: Coordinate spaziali dei pixel in cui si sono verificati eventi.
  • t: Timestamps degli eventi.
  • p: Polarità degli eventi (cambiamenti di luminosità positivi o negativi).

Le immagini sono contenute nella directory images_corrected. I timestamp corrispondenti sono elencati in timestamp.txt.


Modifiche rispetto al progetto originale

  1. Rimosso il supporto CUDA:
    • Il codice è stato modificato per funzionare senza supporto a CUDA, prima con .
  2. Compatibilità con macOS ARM:
    • Configurazione ottimizzata per macOS ARM (Apple Silicon) utilizzando Miniforge.
  3. Installazione semplificata:
    • Procedura aggiornata per includere Miniforge e dipendenze specifiche per macOS.

Novità

  • Supporto MPS: Ora puoi sfruttare la GPU Apple Silicon per un'inferenza fino a 3× più veloce!
  • Miglioramenti Prestazioni: Ottimizzazioni di memoria per elaborazioni più lunghe.

Se si riscontrano problemi o bug, è possibile aprire un'issue nel repository o contattare i maintainer.

About

Repository relativo al paper CVPR21 TimeLens: Event-based Video Frame Interpolation, adattato per macOS ARM (Apple Silicon) con esecuzione basata MPS e configurazione tramite Miniforge.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Contributors

Languages