Taller de la UIT sobre Supervisin y
referenciacin
de la calidad de servicio (QoS) y la calidad
percibida (QoE) de los servicios
multimedios en las redes mviles
(Buenos Aires, Argentina, 24-25 de julio de
2014)
Marco de la QoS mvil: Contadores,
KPI, KQI
Joachim Pomy
[email protected]OPTICOM, Alemania
Version : 11 December 2008
[Contenido]
ITRs: Setting the stage for
a connected world
Marco de la QoS Mvil: Contadores, KPI,
KQI
Nuevo trabajo del UIT-T sobre QoS mvil
Enfoque segmentado Seleccin de los
parmetros de QoS mvil percibidos por el
usuario
Escenarios de prueba y Puntos de activacin
Evaluacin de la calidad de voz Conduccin de
las pruebas
Estadsticas Presentacin de los resultados
Contadores, KPI, KQI
Buenos Aires - Argentina - 24 - 25 de julio de 2014
Trabajo del UIT-T sobre la QoS mvil (1)
KPIs mviles
centrados en el equipo/la infraestructura
agregacin de contadores de redes propietarias
no estandarizados
Nuevo trabajo del UIT-T sobre QoS mvil
Borrador de la nueva Recomendacin E.MQoS
Aspectos de la QoS para los servicios populares en las redes
mviles
Borrador de un nuevo Documento Complementario de la serie
de Recomendaciones E.800
Lineamientos sobre los aspectos regulatorios de la QoS
Otras Recomendaciones del UIT-T sobre QoS abarcan:
Aspectos de los requisitos de los terminales
Aspectos de la calidad extremo a extremo
Aspectos de las percepciones de los usuarios
Buenos Aires - Argentina - 24 - 25 de julio de 2014
[Contenido]
ITRs: Setting the stage for
a connected world
Marco de la QoS Mvil: Contadores, KPI,
KQI
Nuevo trabajo del UIT-T sobre QoS mvil
Enfoque segmentado Seleccin de los
parmetros de QoS mvil percibidos por el
usuario
Escenarios de prueba y Puntos de activacin
Evaluacin de la calidad de voz Conduccin de
las pruebas
Estadsticas Presentacin de los resultados
Contadores, KPI, KQI
Buenos Aires - Argentina - 24 - 25 de julio de 2014
Segmentos de la QoS mvil
El modelo de QoS para el servicio mvil tiene cuatro
segmentos.
El primer segmento es la Disponibilidad de la Red
Define la QoS ms bien desde el punto de vista del
proveedor de servicios que desde el usuario del servicio
El segundo segmento es el Acceso a la Red
Desde el punto de vista del usuario es el requerimiento
bsico para todos los dems aspectos y parmetros de la
QoS
El tercer segmento contiene otros aspectos de la QoS
Acceso al Servicio, Integridad del Servicio y Capacidad de
Retencin del Servicio
En el cuarto segmento se ubican diferentes servicios
Su resultado son los parmetros de QoS segn los perciben
los usuarios
Buenos Aires - Argentina - 24 - 25 de julio de 2014
Aspectos de la QoS del Servicio Mvil
N e tw o rk
A v a ila b ilit y
Layer 1
N e tw o rk
A c c e s s ib ility
Layer 2
c ir c u it
s w it c h e d
S e rv ic e
A c c e s s ib ility
packet
s w it c h e d
S e rv ic e
In te g r ity
S e rv ic e
R e ta in a b ility
E - M a il
F ile
T ra n s fe r
M M S
M o b ile
B ro a d c a s t
P in g
PoC
SM S
S t r e a m in g
T e le p h o n y
V id e o
T e le p h o n y
Layer 3
Layer 4
W eb
B r o w s in g
Buenos Aires - Argentina - 24 - 25 de julio de 2014
La QoS mvil en segmentos (1)
Si seguimos un enfoque
segmentado
centrndonos en los eventos que
puede percibir el usuario
centrndonos en los principales
Telefona
Video Telefona
servicios del mercado
SMS
MMS
Buenos Aires - Argentina - 24 - 25 de julio de 2014
Video Streaming
Navegacin por
Internet
La QoS mvil en segmentos (2)
Segmento 1
Indisponibilidad de la red
radioelctrica [%]
Segmento 2
Relacin de fallas en el Registro y la
Seleccin de la Red [%]
Buenos Aires - Argentina - 24 - 25 de julio de 2014
La QoS mvil en segmentos(3)
Segmento Telefona 3
Inaccesibilidad al servicio de telefona[%]
Segmento Telefona 4
Tiempo[s] de establecimiento de telefona
Relacin de corte de llamadas de
telefona[%]
Buenos Aires - Argentina - 24 - 25 de julio de 2014
La QoS mvil en segmentos (4)
Segmento SMS 3
Inaccesibilidad al Servicio de SMS [%]
Segmento SMS 4
Tiempo[s] de entrega extremo a extremo
de SMS
Relacin de fallas de SMS completados
[%]
Buenos Aires - Argentina - 24 - 25 de julio de 2014
10
La QoS mvil en segmentos (5)
Segmento MMS 3
Relacin de fallas en el envo de MMS [%]
Segmento MMS 4
Tiempo[s] de entrega extremo a extremo
Relacin de fallas extremo a extremo de
MMS [%]
Buenos Aires - Argentina - 24 - 25 de julio de 2014
11
La QoS mvil en segmentos (6)
Segmento Video Telefona 3
Inaccesibilidad del Servicio VT [%]
Segmento Video Telefona 4
Tiempo[s]de establecimiento de
Audio/Video VT
Relacin de corte de llamadas VT [%]
Buenos Aires - Argentina - 24 - 25 de julio de 2014
12
La QoS mvil en segmentos(7)
Segmento Streaming de Video 3
Inaccesibilidad del Servicio de Streaming [%]
Segmento 4:
Tiempo[s]de Acceso al Servicio de Streaming
Relacin de corte de la Reproduccin de
Streaming [%]
Buenos Aires - Argentina - 24 25 de julio de 2014
13
La QoS mvil en segmentos (8)
Segmento de navegacin por Internet
(HTTP) 3
Inaccesibilidad del servicio HTTP [%]
Segmento de navegacin por Internet
(HTTP) 4
Tiempo[s] de establecimiento HTTP
Relacin fallas de Sesin HTTP [%]
Relacin corte de transferencia de datos
HTTP [%]
Buenos Aires - Argentina - 24 - 25 de julio de 2014
14
La QoS mvil en segmentos (9)
Este enfoque nos hara terminar con >
20 parmetros QoS
Todos se relacionan con eventos de
percepcin de los usuarios
Pero esto es slo parmetros de extremo
a extremo
Hay muchos ms parmetros definidos
para los eventos relacionados con los
segmentos de red, traspaso, etc.
Buenos Aires - Argentina - 24 - 25 de julio de 2014
15
[Contenido]
ITRs: Setting the stage for
a connected world
Marco de la QoS Mvil: Contadores, KPI,
KQI
Nuevo trabajo del UIT-T sobre QoS mvil
Enfoque segmentado Seleccin de los
parmetros de QoS mvil percibidos por el
usuario
Escenarios de prueba y Puntos de activacin
Evaluacin de la calidad de voz Conduccin de
las pruebas
Estadsticas Presentacin de los resultados
Contadores, KPI, KQI
Buenos Aires - Argentina - 24 - 25 de julio de 2014
16
Escenarios de prueba
Escenarios de prueba necesarios para
distinguir los siguientes casos principales
de usuarios
Servicios usuario-usuario (generalmente
telefona)
Servicios de guardado y reenvo (por ej., SMS)
Servicios de informacin (por ej., acceder a
Internet o bajar FTP)
Servicios Push (transferencia iniciada por el
remitente)
Buenos Aires - Argentina - 24 - 25 de julio de 2014
17
Consideraciones sobre los puntos de
activacin
Podemos suponer que
cualquier equipo de prueba viable contendr algn tipo de
terminal de comunicacin (UE) que puede ser un tipo especial
(por ejemplo, un telfono de seguimiento)
o un UE estndar
Tambin, se puede suponer que cada uno de tales
dispositivos proporcionar informacin de diferentes
segmentos de la comunicacin
desde el Segmento de la Aplicacin (cercana a la interfaz del
usuario)
hacia los segmentos ms bajos, por ej., eventos del sistema
operativo, segmento TCP/IP, o Segmento 3 informacin de
sealizacin, que es utilizada como punto de activacin para
procesar los PARMETROS de la QOS
En general los comandos AT pueden utilizarse en la mayora de
los casos
La accin es en general disparada por
una accin del usuario emulada
causar alguna accin en la interfaz de aire
Buenos Aires - Argentina - 24 - 25 de julio de 2014
18
Consideraciones sobre los puntos de
activacin
El proceso de propagacin de eventos es determinante
permite una especie de mapeo entre segmentos
est asociado con la demora y el procesamiento de las comunicaciones en cada
etapa.
Eleccin del segmento para el punto de activacin de la recuperacin de
informacin
determina el punto de vista expresado en un PARMETRO de QoS
Elegir eventos de los niveles inferiores (Segmento 3) brinda un punto de vista ms
centrado en la red
los eventos de los niveles superiores brindan puntos de vista ms relacionados con
los usuarios
para los mismos PARMETROS de QoS, el segmento de origen para los eventos
utilizados como puntos de activacin debera ser el mismo
En referenciacin, para todas las redes abarcadas por la prueba
usar el mismo tipo de UE y de PARMETROS de QoS
usar puntos de activacin desde el mismo segmento.
Al cambiar el segmento de origen para un determinado punto de activacin
se deberan esperar cambios en los PARMETROS de QoS
se requieren medidas de calibracin
para evaluar la influencia sobre los PARMETROS de QoS tanto cuantitativa como
cualitativamente.
Buenos Aires - Argentina - 24 - 25 de julio de 2014
19
[Contenido]
ITRs: Setting the stage for
a connected world
Marco de la QoS Mvil: Contadores, KPI,
KQI
Nuevo trabajo del UIT-T sobre QoS mvil
Enfoque segmentado Seleccin de los
parmetros de QoS mvil percibidos por el
usuario
Escenarios de prueba y Puntos de activacin
Evaluacin de la calidad de voz Conduccin de
las pruebas
Estadsticas Presentacin de los resultados
Contadores, KPI, KQI
Buenos Aires - Argentina - 24 - 25 de julio de 2014
20
Mediciones de telefona en la red (1)
Definicin de transaccin y tipos de
transaccin
La transaccin bsica para las pruebas de telefona es
equivalente a una sola llamada a la extensin de una
contraparte. Se supone que la contraparte a la que se llama
es en general una extensin de tipo red-fija para evitar
incertidumbres relacionadas con una segunda conexin
mvil.
El tipo puede ser Originada en la red mvil (MO) o
Terminada en la red mvil (MT).
Se supone que una vez establecida la conexin, para
efectuar otras mediciones no tiene importancia que lado
activ la llamada. Por lo tanto, el parmetro del flujo de
datos de audio no estar lgicamente relacionado con el
tipo de llamada.
Buenos Aires - Argentina - 24 - 25 de julio de 2014
21
Mediciones de telefona en la red (2)
Calidad de los contenidos
Los datos de la evaluacin de la calidad del
contenido se generan en el extremo receptor
Para el enlace descendente el almacenamiento
de los datos del contenido es directo
Para el contenido del enlace ascendente, los
resultados deben integrarse en algn punto del
tiempo
Para evaluar la calidad del contenido de una
muestra completa de transmisin de voz, son
posibles al menos los siguientes mtodos:
Buenos Aires - Argentina - 24 - 25 de julio de 2014
22
Mediciones de telefona en la red (3)
Calidad de los contenidos (cont.)
Evaluacin en tiempo real
modo streaming
el algoritmo de evaluacin de la calidad de voz
determina el tiempo real de MOS-LQO
Evaluacin Offline
el contenido es previamente grabado
para ser procesado ms tarde
El procesamiento de los datos debe
garantizar que slo se procesan los datos de
calidad de los contenidos vlidos
dentro de la ventana de tiempo "conexin activa
Buenos Aires - Argentina - 24 - 25 de julio de 2014
23
Mediciones de telefona en la red (4)
Verificacin de conexiones
bidireccionales utilizables
Slo las llamadas con una conexin de
datos bidireccional extremo a extremo
vlidas sern consideradas en la
evaluacin de la calidad del contenido
(llamadas vlidas).
Las llamadas no vlidas sern tratadas
como llamadas perdidas
con un indicador para este caso en particular
Buenos Aires - Argentina - 24 - 25 de julio de 2014
24
Tema candente:
POLQA - Rec. P.863 (1)
Buenos Aires - Argentina - 24 - 25 de julio de 2014
25
POLQA - Rec. P.863 (2)
Nuevo estndar POLQA ganador de una
rigurosa competencia tcnica
Llevada a cabo por el UIT-T para definir la
actualizacin tecnolgica del PESQ/P.862
PESQ era el estndar de punta en la mayora de
los servicios de telecomunicaciones a nivel
mundial
POLQA - Perceptual Objective Listening Quality
Assessment (Evaluacin de la calidad de la
escucha percibida objetiva)- ofrece un nuevo nivel
de capacidad de referenciacin
para determinar la calidad de voz de los servicios de la
red mvil
Buenos Aires - Argentina - 24 - 25 de julio de 2014
26
POLQA - Rec. P.863 (5)
Limitaciones de los estndares existentes que son ahora
abordados por el POLQA
CDMA
3G TD-SCDMA chino
POLQA tambin ofrecer un fuerte apoyo inmediato para
probar las nuevas redes de banda ancha 4G/LTE que
proveen servicios de voz de alta calidad (HD)
Las pruebas llevadas a cabo durante la evaluacin del
POLQA incluyeron tecnologas futuras, tales como
Comunicaciones unificadas
Redes de prxima generacin
4G/LTE
Voz HD, por ej., wide-band (banda amplia) y "super-wideband (banda super amplia)
Ver POLQA: The Next Generation in Voice Quality Testing
http://www.polqa.info
Buenos Aires - Argentina - 24 - 25 de julio de 2014
27
Evolucin de las Recomendaciones del UIT-T para las Pruebas de Calidad
de Voz (P.86x Referencia completa MOS-LQO)
Buenos Aires - Argentina - 24 - 25 de julio de 2014
28
Validacin del
comportamiento
La UIT ha validado el POLQA en:
47000 pares de archivos
64 experimentos
subjetivos
Idiomas incluidos
en la validacin del POLQA :
Ingls americano e
Ingls britnico
Chino (Mandarn),
Checo,
Holands,
Francs,
Buenos Aires - Argentina - 24 - 25 de julio de 2014
Alemn
Alemn suizo
Italiano,
Japons,
Sueco
29
POLQA Introduction - (c) OPTICOM GmbH 2010
29
[Contenido]
ITRs: Setting the stage for
a connected world
Marco de la QoS Mvil: Contadores, KPI,
KQI
Nuevo trabajo del UIT-T sobre QoS mvil
Enfoque segmentado Seleccin de los
parmetros de QoS mvil percibidos por el
usuario
Escenarios de prueba y Puntos de activacin
Evaluacin de la calidad de voz Conduccin de
las pruebas
Estadsticas Presentacin de los resultados
Contadores, KPI, KQI
Buenos Aires - Argentina - 24 - 25 de julio de 2014
30
Intervalos de confianza para diferentes tamaos de
muestras (1)
Efectos de los diferentes tamaos de muestras en
una campaa de medicin
basados en las frmulas de Pearson-Clopper para calcular
los intervalos de confianza
vlidos de forma genrica e incluso para muestras de
pequeo tamao
para muestras de cantidades mayores, se puede aplicar el
clculo de los intervalos de confianza en base a la
aproximacin de una distribucin normal
se muestran tres grficos diferentes: Los tamaos de las
muestras dentro del rango de:
entre 100 y 1 100 muestras;
entre 1 100 y 2 100 muestras; y
entre 1 000 y 11 000 muestras.
Buenos Aires - Argentina - 24 - 25 de julio de 2014
31
30
Intervalos de confianza para diferentes tamaos de
Width of confidence interval
for fixed sample(2)
size (Pearson-Clopper)
muestras
10
15
20
100 Samples
300 Samples
500 Samples
700 Samples
900 Samples
1100 Samples
x
+
o
x
+
0
x
x xx
xxx x
xx xxx xxx xxx xxx xx
x xx
xx
xx
+++
+++
+++
+
+
+
+
x
+
+
+
+
+
+
x
+
+
x
+ + + o o o o o oo o o o oo o o o o o + + + + + x x x
+
x
+
+ + o o o o o ox ox x x x x x x x x x x x x x x x x x ox ox o o o o o + + + x
x
x x x x oo + x
x +++
x x x + + + ++ + ++ +++ ++ + ++ + + + + +
o ox x x +
o
x x x oo+ + x
++ ++
x +++ ++ +
x + + o ox x +
x xo o +
++ +
o
+
x
x xo+ x
++
ox +
x ++
x+
++
xo
o
+
x
x+
+
+
o
o
x+
x
+
+
x
xx
Width of confidence interval in percent
25
o
x
+
o
x
+
20
40
60
80
100
Estimated rate in percent
Buenos Aires - Argentina - 24 - 25 de julio de 2014
x
+
o
x
+
32
xx xxx xxx x
xx x
xx
xx
xx
x
+ +++ +++ +
+
x
x
+
+
+
+
x
+
+
x
+
+ xx
x + + o o o o oo ooo oo o o o o + + x
x + o
x x x x x x x x x o o o ++ x x
x ++o o o x x x x x x +
+
+
x + o x x ++ + +++ +++ ++ x x x x o o + x
+
+
o
+
x
+
+
x
x o x +
++ xo o ++ x
++ x x o x
x ++o x x ++ +
+ + xo+ x
x + o ox x + +
+
+ x ox +
x+o x +
+ o+ x
+ xo+
ox+
x+
+ xo x
x+
o
+
+x+
+x
o
1100
Samples
xo +
+ ox x
x
++
x 1300 Samples
++
o
ox
xx
1500
Samples
x
+
+
+
+
+
ox
o 1700 Samples
ox
+
+x
x 1900 Samples
x
+
+
ox
ox
2100 Samples
+
+
+
Width of confidence interval in percent
Intervalos de confianza para diferentes tamaos de
muestras (3)
Width of confidence interval for fixed sample size (Pearson-Clopper)
xx
+
o
+
x
+
o
x
+
20
40
60
80
100
Estimated rate in percent
Buenos Aires - Argentina - 24 - 25 de julio de 2014
33
1000 Samples
3000 Samples
5000 Samples
7000 Samples
9000 Samples
11000 Samples
o
x
+
o
x
+
xxx x
xx xxx xxx xxx xxx xx
x xx
xx
xx
+++++
+++
++
+++ ++
+
+
xx
+
+
+ +++
x
++ +
+
x
000
00
00
+
0
0
00
+
00
x +++ 0 0 0 0 0 0 x x x x x x x x x x x 0 0 0 0 0 0 +++ x x
x
x x x x x x x0 00 + x
x +
x x ++++
0 0x x x x x +
++++ +++ ++
+
+ + ++ + + x x x 0 0 0 + + x
x + + 0 0 0x 0x x +
x x x0 + x
+ +++
x + + + + + ++
x + + 0 0x +
x+
+ ++
x 0x 0 +
x+
x+
x 0x + x
0x 0
++
x+
+
0
+
+0
x
x0
++
+
+
0
x
x
+
+
x
xx
Width of confidence interval in percent
10
Intervalos de confianza para diferentes tamaos de
muestras
(4)
Width of confidence
interval for fixed sample
size (Pearson-Clopper)
x
x xx
0xx
+
0
0xx
+
20
40
60
80
100
Estimated rate in percent
Buenos Aires - Argentina - 24 - 25 de julio de 2014
34
Informe de los resultados (1)
Qu tipo de informacin se debe dar al
lector cuando se genera un informe de la
prueba?
Cuando se utilizan valores cuantiles, se debera
tener en mente que el cmputo de cuantiles
separa un bajo porcentaje de datos atpicos de
los datos restantes. Esto significa:
Si los valores ms bajos representan un resultado
mejor desde la perspectiva del cliente, un pequeo
porcentaje que contenga los valores ms altos podra
ser separado calculando un cuantil al 95 % o un
cuantil al 90 %. Este es el caso por ejemplo para los
valores de duracin.
Buenos Aires - Argentina - 24 - 25 de julio de 2014
35
Informe de los resultados (2)
Si los valores ms altos representan un mejor
resultado desde la perspectiva del cliente, un
porcentaje pequeo que contenga los valores
ms bajos podra ser separado calculando un
cuantil al 5% o un cuantil al 10%. Este es el caso
por ejemplo para valores de produccin.
Con relacin a la calidad del contenido, el
clculo del cuantil apropiado se orienta en la
escala de los resultados de las pruebas
determinadas. En la prctica, algunos algoritmos
definen un valor de 0 en una escala de 0 a 5
como la mejor calidad, mientras que otros
definen el valor 5 como la mejor calidad posible.
Buenos Aires - Argentina - 24 - 25 de julio de 2014
36
[Contenido]
ITRs: Setting the stage for
a connected world
Marco de la QoS Mvil: Contadores, KPI,
KQI
Nuevo trabajo del UIT-T sobre QoS mvil
Enfoque segmentado Seleccin de los
parmetros de QoS mvil percibidos por el
usuario
Escenarios de prueba y Puntos de activacin
Evaluacin de la calidad de voz Conduccin de
las pruebas
Estadsticas Presentacin de los resultados
Contadores, KPI, KQI
Buenos Aires - Argentina - 24 - 25 de julio de 2014
37
KPIs (Indicadores Claves de Desempeo)
basados en los Contadores de las Redes
Especficos de un distribuidor = KPIs internos de la
red
diferentes estrategias
cmo contar los eventos de la red
qu eventos estn incluidos en qu contador(es)
Requieren conocimiento de un sistema especfico
especialistas con conocimiento detallado del sistema
probar los contadores
la documentacin puede ser incorrecta
el enfoque con respecto al contador cambia con la
actualizacin del sistema
Los operadores mviles luchan con esto
la mayora de los operadores est en un entorno de mltiples
distribuidores
los contadores de diferentes distribuidores no se pueden
comparar en forma directa
requiere una estrategia y una atencin continua
Buenos Aires - Argentina - 24 - 25 de julio de 2014
38
KPIs desde la perspectiva de los usuarios =
KQIs
Indicadores Claves de Calidad(KQIs) =
indicadores externos
se pueden evaluar en el campo
Para monitoreo, regulacin, etc..
se puede seleccionar una subserie
aplicable a todos los distribuidores y
operadores
no limitada al servicio mvil, sino buena
tambin para la banda ancha
Buenos Aires - Argentina - 24 - 25 de julio de 2014
39
KPIs versus KQIs
A veces se los confunde
KPIs = indicadores internos
son parte del desempeo de la red
se basan en los contadores de las redes
son esenciales para la operacin, el mantenimiento, el modelo
comercial
se pueden informar, auditar, etc.
sin embargo, no tienen ningn sentido cuando estn fuera de
contexto
KQIs = indicadores externos
sirven de base para evaluar la QoS segn la percibe el usuario
independientes de los distribuidores
Independientes de los operadores
ideales para comparar diferentes operadores sobre una base
estadstica
no pueden ser informados desde el propio sistema
requieren algn tipo de prueba en el campo, conduciendo,
caminando, etc..
Buenos Aires - Argentina - 24 - 25 de julio de 2014
40
Alguna pregunta?
Contacto:
[email protected]
Buenos Aires - Argentina - 24 - 25 de julio de 2014
41
