Transmission de Flux Vidéo sur

les Réseaux à Hauts Débits:

Problématiques et Solutions

Table des matières (1)

Complexité des Communications Vidéo

‹ Hétérogénéité des applications audiovisuelles
‹Classifications des applications audiovisuelles
‹ Diversité des technologies utilisées
‹Besoin de Compression
‹Techniques de Compression
‹Protocoles de Transport
‹ Besoins variés en Qualités de service (QoS)
‹Débits binaires
‹Délais de transfert et Jigue
‹Taux de Pertes et Taux d’erreurs

© 2001 Ahmed Mehaoua - page 2

 Table des matières (2)

Communications Vidéo MPEG2 sur ATM

‹ Sélection d’une classe de service ATM
‹ l’Allocation des ressources et le Contrôle d’admission (CAC)
‹ Mécanismes d’encapsulation des Paquets vidéo sur ATM
‹ Choix du protocole d’adaptation ATM (AAL)
‹ Algorithmes d’assignation de priorité aux cellules vidéo
‹ Mécanismes de Contrôle de Congestion
‹Contrôle des flux vidéo
‹Elimination des cellules ATM

© 2001 Ahmed Mehaoua - page 3

Table des matières (3)

Solutions actuellement développées
‹ CBR Vidéo MPEG2 sur ATM (ATM Forum)
‹ VBR Vidéo sur service VBR-rt
‹ VBR Vidéo sur services ATM Hybrides
‹ VBR Vidéo sur classes de services Best Effort ATM
‹ Consortium DAVIC

Demain: Distribution Active de la Vidéo ?

‹ ATM /Internet : réseaux fédérateurs ??
‹ Objectif : Problème d’hétérogénéité
‹Des systèmes multimédia
‹Des systèmes de communications
‹ Solutions de demain ??
‹La norme MPEG4
‹Codage hiérarchique
‹Les réseaux actifs
© 2001 Ahmed Mehaoua - page 4
 I. Diversité
des Applications Audiovisuelles (1)

Interactivité (vision utilisateur) [ITU-T 120]

‹ Conversationelle (vidéoconférence)
‹ Messagerie (Mail multimédia)
‹ Téléchargement (Vidéo a la demande)
‹ Diffusion (TV numérique Haute Définition)

© 2001 Ahmed Mehaoua - page 5

I. Diversité
des Applications Audiovisuelles (2)

Ressources de Communications (vision réseau)

Topologie:
‹ point-à-point - Unicast (Vidéo à la demande)
‹ Multipoint - Multicast (Télé-éducation, vidéoconférence)
‹ Diffusion - Broadcast (TV)
Qualité de Service:
‹ Temps-réel ou Non temps réel (contraintes temporelles)
‹ Faibles débits ou Hauts débits (bande passante,
mémoire)
‹ Satisfaction subjective (Taux d ’erreurs, Qualité
visuelle, rés. couleurs, son stéréo/mono, …)

© 2001 Ahmed Mehaoua - page 6

 II. Diversité des Technologies de
Communications
Réseaux et Protocoles de Communications devant supporter la Vidéo:
‹ Réseaux d’accès (RTC-modem, ADSL, Câble, Hertzien, …)
‹ Réseau Locaux (Ethernet, FDDI, ATM, …)
‹ Réseaux WAN (RNIS-BE, Internet-MBONE, ATM)
‹ Réseaux sans fils (GSM/DCS/DECT)
‹ Demain ???
‹Internet NG
‹Commutation Optique (WDM photoniques - Terabits)
‹UMTS (G1: 144 Kbps - G2: 2 Mbps)
‹Constellations de Satellites

Î Goulots d’étranglement

© 2001 Ahmed Mehaoua - page 7

II. Besoin de
Compression

Video Format Bit Rate required Bit Rate required Compression

before compression after compression Standard
Mobile Videotelephony SQCIF 4.4 Mbps 5 to 64 Kbps MPEG4, H.263
VideoTelephony QCIF 9.115 Mbps 32 to 64 Kbps H.261, H.263
Videoconferencing CIF 36.45 Mbps 112 Kbps H.261
VCR-quality (DVI, CDI) SIF 36.45 Mbps 1.5 Mbps MPEG1
Studio-quality digitial TV (DVD) ITU-R BT.601 166 Mbps 3 to 6 Mbps MPEG2
Digital High-Definition TV SMPTE 240M 506 Mbps 25 to 35 Mbps MPEG2
Super HD Video quality SHD > 6 Gbps > 100 Mbps MPEG2

Table 1 - Bit rate requirements for various audiovisual services

© 2001 Ahmed Mehaoua - page 8

 II. Les Formats Vidéo
PARAMETER SQCIF QCIF CIF 4CIF 16CIF SIF NTSC SIF PAL/SECAM

Active Pixels/Ligne (L) 128 176 352 704 1408 352 352

Active Lines/Image (L) 96 144 288 576 1152 240 288

Color Format YCbCr YCbCr

Color subsampling 4:1:1 4:2:0 4:2:0

Color Resolution (bits per pixel) 8 8 8

Temporal Resolution 30 30 25

Raw bit rate (Mbit/s) 4.4 9.115 36.45 146.0 583.9 36.45 36.45

Table 2 - Digital Video Formats used by MPEG1, MPEG2, MPEG4, H.261, and H.263

PARAMETER SHD SMPTE 240M ITU-R BT.601 NTSC ITU-R BT.601

PAL/SECAM
Pixels/Line (L) >2048 1920 720 720

Lines/Image (L) >2048 1152 484 575

Color Subsampling 4:4:4 4:2:0 4:2:2 4:2:2

Color Format RGB YCbCr

Color Resolution (bpp) 24 8 16 16

Temporal resolution (fps) >60 30 30 25

Raw bit rate (Mbit/s) > 5700 506 166 166

Table 3 - Digital Video Formats used by MPEG2 only

© 2001 Ahmed Mehaoua - page 9

II. Les Techniques de

Compression
Les redondances spatiales
‹ Les Codages Prédictifs (DPCM, ADPCM, DM)
Les redondances temporelles
‹ Estimation et Compensation de mouvements
Les redondances psycho-visuelle
‹ Transformées (DCT, FFT, Hadamard, ...)
‹ Quantification
‹ Sous-échantillonnage des couleurs
Les redondances statistiques
‹ Codage en entropie
‹ Codage de Huffman, Codage Arithmétique

© 2001 Ahmed Mehaoua - page 10

 II. Diversité des
Standards vidéo (1)
Codeurs de 1ère Génération :
Motion-JPEG
‹Redondances spatiales
‹Débits : 15-20 Mbps
‹Problème: Format propriétaire : multiplexage son - image
H.261
‹Redondances spatiales et Temporelles
‹Débits : nx64 Kbps (Vidéoconférence)
‹Problème: Format Dépendant du RNIS bande étroite
MPEG-1
‹Codage temporel bidirectionnel
‹Débit constant maximum : 1.5 Mbps
‹Problème: Format Réservé au Disque Compact Vidéo

© 2001 Ahmed Mehaoua - page 11

II. Diversité des

Standards vidéo (2)
Codeurs de 2ème Génération:

MPEG-2 (ITU H.262)

‹Propose le Codage hiérarchique
‹Débits variables : jusqu’à 150 Mbps
‹Robuste aux erreurs de communications
‹Adapté au RNIS large bande (ATM)
‹Problème : Schéma du codeur/décodeur fixé
H.263
‹Extension de H.261
‹Bas débits : 5-64 Kbps
‹Adapté aux applications multimédia mobiles et Internet
‹Problème : Qualité médiocre

© 2001 Ahmed Mehaoua - page 12

 II. Diversité des Standards vidéo (3)
Codeurs de 3ème Génération:

H.263+
‹Codage morphologique (3D)
‹Extension de H.263 vers les hauts débits : 5 Kbps - 100 Mbps
‹Adopté pour MPEG4 version 1
MPEG-4
‹Standard Multimédia de demain
‹Codage par objets (composition dynamique des scènes)
‹codage hybride (images naturelles et de synthèses)
‹Codage hiérarchique étendu (11 niveaux + content-based scalability)
‹Définition d’un langage de description
‹des flux audio et vidéo
‹des codeur/décodeur
‹Des contenus des flux
‹Débits : idem que H.263+
© 2001 Ahmed Mehaoua - page 13

II. Bénéfices Escomptés de

MPEG4 (1)
Édition vidéo (Incrustation de logos ou de sous-titres)
‹ Avant MPEG4 : décompresser - éditer - recompresser - » dégradation de la
qualité
‹ Après MPEG4 : insertion/modification d’objets visuels dans l’espace de
compression

Stockage
‹ Avant MPEG4: même fond de scène stocké plusieurs fois
‹ Après MPEG4: un seul fond de scène stocké

Transmission
‹ Avant MPEG4 : 3 niveaux de qualités (au niveau scène).
‹ Après MPEG4: 11 niveaux de qualités différentes (au niveau objet) et
élimination adaptative des objets multimédias inutiles
© 2001 Ahmed Mehaoua - page 14
 II. Bénéfices Escomptés de
MPEG4 (2)

Décodage
‹ Avant MPEG4 : maj du décodeur nécessaire
‹ Après MPEG4 : téléchargement dynamique du
décodeur avant la séquence vidéo
Affichage
‹ Avant MPEG4 : récepteur passif
‹ Après MPEG4 : récepteur actif avec possibilité de
composer/personnaliser dynamiquement les
scènes

© 2001 Ahmed Mehaoua - page 15

III. Solutions basées sur

ATM et MPEG2
MPEG2 : 4 types d’images compressées
‹ Images (I) Intra
‹ Images (P) Predictives
‹ Images (B) Bidirectionnellement Predictives
‹ Images (D) codées DC
Groupe d'images (GOP) (N = 12, M = 3)

I B B P B B P B B P B B I

© 2001 Ahmed Mehaoua - page 16

 III. Propagation des erreurs
dans les séquences MPEG2
Groupe d'images (GOP) (N = 12, M = 3)

I B B P B B P B B P B B I

Î Préservation des Images références (I) et (P) lors des

congestions

© 2001 Ahmed Mehaoua - page 17

III. Un flux hiérarchique à

6 structures de données
Video Sequence

Group of Picture

.... ....
Picture

8 pixels
Slice
8 pixels

Slice

Picture
Block

Macroblock

© 2001 Ahmed Mehaoua - page 18

 III. Flux binaire
Compressé MPEG2
Séquence GOP 1 GOP 2 ... GOP n
Séquence: unité d’initialisation (en-tete
contient valeur du débit binaire, ratio
d’aspect, frequence d’images et
Groupe d'images matrices de quantification).
(GOP)
Image 1 Image 2 ... Image m

GOP: unité de codage (en-tête contient

info. d’horloge)
Image Tranche 1 Tranche 2 ... Tranche i
Image : unité d’accès (en-tête contient le
numéro de séquence)

Macro- Macro- Macro- Tranche : unité autonome de

Tranche
Bloc 1 Bloc 2
... Bloc j
resynchronisation (en-tête
contient position de la tranche
dansl’image)
Macrobloc
Bloc 1 Bloc 2 Bloc 3 Bloc 46
(16 x 16) pixels
MB : unité compensation de
mouvements (en-tête contient le
type de codage, les vecteurs de
Bloc mvts, echelle de quantification).
(8 x 8) pixels
Header

Bloc : unité DCT

Î Protection des En-têtes lors des transmissions

© 2001 Ahmed Mehaoua - page 19

III. La Bande Vidéo (Slice)

■ Unité de traitement principale dans MPEG2
■ Unités de synchronisation lors d’erreurs
■ Pas de recommandation pour la distribution des bandes dans

une image 1 début

1 fin 2 début

2 fin 3 début

3 fin 4 début 4 fin

5 début 5 fin
6 début 6 fin 7 début

7 fin 8 8 9 début 9 fin

Î Considérer la Bande Vidéo comme unité de

transport minimale

© 2001 Ahmed Mehaoua - page 20

 III. Caractéristique d’un
flux VBR MPEG2 (1)
Au niveau image
■ Le rapport entre le débit crête et le débit moyen varie entre 6.6 et 18.4 [O.Rose 95]
■ En moyenne taille : image I > image P > image B [D. Reininger 93]

100000
Taille Image (bit)

80000
60000
40000
20000
0
1 3 5 7 9 11 13 15 17 19
Num. Image
Taille des images de la séquence « lambs » (codage MPEG VBR)
© 2001 Ahmed Mehaoua - page 21

III. Caractéristique d’un

flux VBR MPEG2 (2)
Au niveau Scène
Une scène est une suite d’images ayant plus ou moins le même contenu
Au sein d’une scène, la variation de la taille des images I est faible
100000
80000
Taille Image (bit)

60000
40000
20000
0
1 51 101 151 201 251
Num. Image
Î Exploiter le Multiplexage statistique de ATM mais
risque de Congestion
© 2001 Ahmed Mehaoua - page 22
 III. Exigences en QoS et
Ressources de communications
Service Débit binaire nominal Délai de transfert

Communication bidirectionnelle
Vidéophonie 64 Kbps - 2 Mbps CBR (H.261) 200 - 500 ms
Vidéophonie 2 Mbps VBR (H.262) 150 ms (aller)
Vidéoconférence 5 Mbps VBR (H.262) 150 ms (aller)

Communication unidirectionnelle
TVHD diffusion 20-80 Mbps VBR 1 sec
MPEG-1 (avec audio) 1.5 Mbps CBR 5 secs
MPEG2 4Mbps CBR 1 sec
Main Profile - Main Level
(Qualité VHS)
MPEG2 10 Mbps VBR 1 sec
Main Profile - Main Level
(Qualité TV)
MPEG2 15 Mbps CBR 1 sec
Main Profile - Main Level
(Qualité Studio)

Service Debit nominal Gigue

Videoconference 64 Kbps - 2 Mbps CBR 130 ms

MPEG1 (NSTC) 1.5 Mbps CBR 6.5 ms

© 2001 Ahmed Mehaoua - page 23 HDTV 20 Mbps 1 ms

III. Communication Vidéo

MPEG2 sur ATM
■ Communication vidéo point-a-point sur les réseaux à haut-débits ATM.
Ö Approche integrée (bout-en-bout et Top-down) Adaptation des services ATM
pour la transmission de la vidéo
1 Î Garantie : RCBR, RED-VBR-rt, ABT
Î Best Effort : ABR, UBR+
2 Î Algorithmes CAC
Î Mécanismes de Lissage de flux
Stratégie d'encapsulation des
flux vidéo sur ATM
MPEG2
2
3 AAL
Î pour la minimisation des effets
de propagation des erreurs
ATM Séléction de la AAL

PHY 1 5 3 Î Conception de protocoles

spécifiques pour la vidéo
4 Î introduction de Forward Error Control
Conception de mécanismes
Source Destination 4 d'assignation dynamique de
priorités aux cellules vidéo

Conception d'algorithmes
5 d'éliminations sélectives et
Réseau ATM groupées de cellules vidéo

© 2001 Ahmed Mehaoua - page 24

 III. Choix de la classe de Service :
MPEG2 CBR ou VBR ?

Feedback
CBR
Control Transmission CBR

Encoder CBR
MPEG2 VBR Buffer Video
VBR Constrained VBR
Encoder stream or
Transmission
Feedback VBR

UNI CBR Shaped

VBR Buffer Transmission VBR
Video

VBR
Transmission Unconstrained
VBR

Encoder User-Network Network

Interface

© 2001 Ahmed Mehaoua - page 25

III. Choix du Schémas de

Multiplexage Image / audio

Program Stream ou Transport Stream

Video TS Transport
Video Packetizer
Data Encoder Multiplexer Stream
Packetized
Uncompressed Stream Elementary Stream Elementary Stream

Audio PS Program
Audio Multiplexer
Data Packetizer Stream
Encoder

MPEG2 Encoding MPEG2 System

© 2001 Ahmed Mehaoua - page 26

 III. Choix de la couche
d’adaptation ATM (AAL) (1)
Video-Dialtone Technology (VDT) and Multimedia Services

Connection Audio Stream Video Stream Terminal and

Control and Data Stream
ISO/IEC 13818-3 ISO/IEC 13818-2 session signaling
Signaling

Signaling
Protocols Program Stream Transport Stream Transport
(SSCF) Protocol
(SSCOP) MPEG2 System Layer (ISO/IEC 13818-3)

AV-SSCS
Signaling AAL AAL1 AAL2
AAL5
ATM Adaptation Layer

ATM Layer

Physical Layer
© 2001 Ahmed Mehaoua - page 27

III. Sélection de la couche

d’adaptation ATM (AAL) (2)
AAL1 AAL2 AAL5

Time Stamps Yes No No

CRC Error Entire
Header Header Packet
Detection
Sequence
3-bit 1-bit No
Numbers
FEC Yes No No

Multiplexing No Yes No

Encapsulation Yes Yes Yes

Overhead 2% < 4% > 8 bytes

© 2001 Ahmed Mehaoua - page 28

 IV. Demain :
Un Environnement de
Communication Vidéo hétérogène !
Accroissement du nombre d’émetteurs de contenus vidéo
Hétérogénité des récepteurs et des réseaux d’accès
Té lé phone

Se rve ur WEB /
Stations M ultim é dia Vide o à la de m ande
à Haute s ré s olutions

Terminaux Multimédia
ATM / INTERNET / SATELLITE à Faible capacité
Diffus ion Digital TV
par Sate llite

Pas s e re lle
Wire le s s

Pas s e re lle
Pas s e re lle Vide o
Sate llite

Studio TV
Num é rique

PC's
© 2001 Ahmed Mehaoua - page 29

IX. LE GRAND DÉFI !

Distribuer le même contenu audiovisuel Tout en optimisant les
ressources de communications :
‹ à des récepteurs possédant des capacités de réceptions différentes :
‹Faibles débits (Satellite, LAN sans fil - DECT, mobile, RTC) 128 Kbps
‹Moyens débits (Ethernet, ISDN, UMTS) 1-16 Mbps
‹Hauts débits (Gigabit Ethernet, ATM, xDSL) 10-100 Mbps

‹ à des récepteurs possédant des capacités de traitements différentes

‹Stations multimédia hautes performances (studio TVHD, …)
‹Terminaux passifs (Web-TV, Vidéo-Phone, mobiles, ...)

‹ à des utilisateurs ayant des goûts /profiles différents

(personnalisations)
‹Différences linguistiques (canaux audio multilingues, sous-titrages, ...)
‹commerce électronique - publicité différenciée

© 2001 Ahmed Mehaoua - page 30

 X. Comment relevé ce DÉFI ?

Concevoir des architectures de Distribution Vidéo « Active » reposant sur :

‹ Le codage hiérarchique et par objet des séquences vidéo (MPEG4)

‹Pré-formage des flux vidéo avant transmission
‹Différenciation des qualités par sous-flux additionnels
‹composition dynamique de scènes au niveau des récepteurs
‹ Le contrôle actif des réseaux et des services multimédia (Réseaux Actifs)
‹Programmation dynamique des nœuds de commutations
‹Passerelles Vidéo pour le Transcodage et le Filtrage des flux vidéo
‹Multicast actif (gestion améliorée des NACKS)

© 2001 Ahmed Mehaoua - page 31

XI. Bénéfices de MPEG4

‹ Édition vidéo (Incrustation de logos ou de sous-titres)
‹ Avant MPEG4 : décompresser - éditer - recompresser - » dégradation de la qualité
‹ Après MPEG4 : insertion/modification d’objets visuels dans l’espace de
compression
‹ Stockage
‹ Avant MPEG4: même fond de scène stocké plusieurs fois
‹ Après MPEG4: un seul fond de scène stocké
‹ Transmission
‹ Avant MPEG4 : 3 niveaux de qualités (au niveau scène).
‹ Après MPEG4: 11 niveaux de qualités différentes (au niveau objet)
et élimination adaptative des objets multimédias inutiles
‹ Décodage
‹ Avant MPEG4: décodeur nécessaire
‹ Après MPEG4: téléchargement dynamique du décodeur avant la séquence vidéo
‹ Affichage
‹ Avant MPEG4 : récepteur passif
‹ Après MPEG4 : récepteur actif avec possibilité de composer dynamiquement les
scènes
© 2001 Ahmed Mehaoua - page 32
 XI. Les Réseaux Actifs (1)
Qu’est ce que c’est ?
Un Réseau Actif = Σ routers/switchs programmables (appelés nœuds actifs)
Définis une architecture de contrôle programmable des équipements et
services réseaux
Intégre les dernières avancées dans les domaines de:
La programmation hardware (FPGA, DSP, ...)
Code mobile (Java, Safe-Tcl, Omniware, …)
la Compilation à la volée (Liquid Software, Gigabit Compiler, …)
Systèmes et Architectures distribuées (Corba, Réseau Intelligent, …)

A Quoi ça sert ?
Permettre d'accélérer et de simplifier le déploiement de nouveaux protocoles
et services de communications (routage, disciplines de services, …) et de
nouvelles applications multimédia
Offrir des Services différentiés à l’initiative des usagers, et des opérateurs
Les 3 mots clés : FLEXIBILITÉ, EXTENSIBILITÉ et PERSONNALISATION
DYNAMIQUE des SERVICES de COMMUNICATIONS
© 2001 Ahmed Mehaoua - page 33

XII. Les Réseaux Actifs (2)

Comment ça marche ?
CAPSULE ou SMART PACKET (MIT, DARPA, ATT) (IN-BAND)
(a) Fragment de programmes inclus dans les paquets de
données qui s ’execute au niveau de chaque nœud traversé
(approche intégré)
- seul le premier paquet du flux execute la logique de contrôle
- chaque paquet du flux s’execute sur chaque noeud
Smart Packet

VC/VP Active
Active
Node Node

Active
Node

Active
IP Header

Node TOS
Fragment de
Programme Data Payload

© 2001 Ahmed Mehaoua - page 34 (a)

 XII. Les Réseaux Actifs (3)
Comment ça marche ?
ROUTEUR/SWITCH PROGRAMMABLE (OUT-OF-BAND)
(b) Via des Interfaces standardisées = RPC (Columbia,
Cambridge)
(c) Injection de Programmes = Agent Mobile (GMD, UPenn)
Mobile
Agent

Control
Architecture
Agent Agent
System System
API
Workstation
API
Mobile
Agent
Agent
VC/VP Active
System
Active
Node API
Node ARIEL (API)
Agent
System Active
Node
API

(c) Active
Node SWITCH

(b)

© 2001 Ahmed Mehaoua - page 35

XII. Les Réseaux Actifs (4)

Problèmes ?
Performances
Sécurité
Interopérabilité (IEEE P1520 et OPENSIG)
Applications actives ?

© 2001 Ahmed Mehaoua - page 36