[Link]

fr/~donsez/cours

Les Benchmarks
pour les SGBDs

Didier DONSEZ
Université Joseph FOURIER
IMA – IMAG/LSR/ADELE
[Link]@[Link],
[Link]@[Link]
 12/01/2006
2

When you can measure what you are speaking about, and
express it in numbers, you know something about it; but
when you cannot measure it, when you cannot express it in
numbers, your knowledge is of a meager and
unsatisfactory kind; it may be the beginning of knowledge,
but you have scarcely in your thoughts advanced to the
state of Science, whatever the matter may be.
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

Lord Kelvin, 1883

 12/01/2006
3

Plan

• Qu’est ce qu’un Benchmark ?

• Benchmarks SGBDs Relationnels
• Benchmarks SGBDs Objets
• Benchmark SGBDs Objet-Relationnel
• Benchmarks, Web et SGBDs
• Comment sont effectués les Benchmarks ?
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

• Interprétation des Résultats

• Conclusion et Bibliographie
 12/01/2006
4

Qu’est ce qu’un Benckmark ?

Benchmark
• Banc de Performances
• Mesurer les performances d’un système (matériel / logiciel) sous une charge
de travail caractérisant une application type.
Cette application peut être définie selon des spécifications écrites par des organismes
compétents

Intérêt
• fournir un indicateur fiable et global de qualité des produits
• comparer les produits entre eux (avant d’acheter)
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

• fournir des arguments commerciaux

• dimensionner son système en fonction de ses besoins
avant achat ou avant migration
• version de logiciel ou génération de matériel

Remarque : ATTENTION
• à l ’écart entre Application Réelle (la votre) et Application «Modèle»
(celle utilisé par le banc d’essai)
 12/01/2006
5

Les Benchmarks pour SGBDs d ’Entreprise

Wisconsin, AS3AP (ANSI SQL Standard Scalable and Portable)

• Premiers bancs d ’essai

TPC-A et TPC-B
• Transactionnel bancaire

TPC-C, TPC-E
• Système d ’Information d ’Entreprise (Mix)
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

TPC/D, TPC-H, TPC-R

• InfoCentre (BD Décisionnelle)

TPC-W
• E-business (Web et Commerce Electronique)
 12/01/2006
6

Wisconsin Benchmark
(University of Wisconsin)

• Premier benchmark BD dans la littérature

But
• SGF et Premiers moteurs SGBD-R
• Comparaison des performances
des algorithmes des opérateurs relationnels
• Variables des tests
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

Taille des relations

Sélectivité des attributs (champs)
Taille des opérandes
Indexé ou non

Conditions d ’expérimentation
• Environnement mono-utilisateur
• requête 1 à 1 (batch), buffers mémoire purgés
 12/01/2006
7

TPC ([Link] )
Transaction Processing-performance Council

corporation de 44 entreprises (San José, 1988)

• But: Définir des benchmarks
• pour des SGBDs
• pour des Moniteurs Transactionnels
• 5 benchmarks BD
• TPC-A et TPC-B Transactionnel bancaire (OLTP)
• TPC-C et TPC-E Transactionnel Prise de commande (OLTP)
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

• TPC-D, TPC-H, TPC-R Décisionnel (OLAP)

• 1 benchmark Web dynamique
• TPC-W Web et Commerce Electronique B2C
 12/01/2006
8

Status actuels des benchmarks TPC

• Benchmark Création Status

• TPC-A 1989 obsolète au 6/6/1995
• TPC-B 08/1990 obsolète au 6/6/1995
• TPC-C 07/1992 actif
• TPC-D 04/1995 obsolète au 4/6/99
• TPC-E resté à l’état de draft
• TPC-H actif
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

• TPC-R actif
• TPC-W actif

• “The Evolution of TPC Benchmarks: Why TPC-A and TPC-B are Obsolete”, C.
Levine, J. Gray, S. Kiss, W. Kohler, Open OLTP Report, Vol. 4, No 7, Nov.,
1993. pp. 2-14. Standish Group, Yarmouth, MA.
 12/01/2006
9

TPC/A & TPC/B: Débit/Crédit

L’article initiateur
• Anon et al,"A Measure of Transaction Processing Power",
Datamation, V.31.7, April 1985, pp. 112-118

TPC/A & B
• OLTP : OnLine Transaction Processing
• Simulation d’Opération de Débit et Crédit
sur des comptes bancaires
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

• TPC/A : Environnement réel

• Humain (temps de réflexion de 60 secondes)
• Terminaux, Réseaux (LAN ou WAN), SGBD
• Contraintes sur les temps de réponse
• TPC/B : Environnement Batch
• SGBD standalone
plus simple à expérimenter
 12/01/2006
10

L’application Datamation 85

NETWORK 10 Million 10 000 Tellers 1000 Branches

Customers 10/Branch

X25 3 travaux différents

Presentation Services
Data Communications
•Debit-Credit
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

Debit-Credit
Transaction •Scan (COBOL)
•Modif 1000 enr seq
Database
•Sort
Duplex Log •Sur 1000000 enr)

10GB 1GB 1MB 100KB

DATABASE 90-Day 10 Million 10 000 1000
History Accounts Tellers Branches
 12/01/2006
11

TPC/A et TPC/B

Base
• 100 000 comptes client
• 10 terminal ou DAB par agence (branch)
• au moins 1 agence
• un historique de description des transactions

Transaction
• Lire message du terminal (100 octets)
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

• Lire et Ecrire l’enr. du compte client (acc aleatoire)

• Ecrire l’enr. d’historique (acc sequentiel)
• Lire et Ecrire l’enr. du terminal (acc aleatoire)
• Lire et Ecrire l’enr. du agence (acc aleatoire)
• Envoyer message au terminal (200 octets)
 12/01/2006
12

TPC-A

Account
Account_ID
Branch_ID
Branch_Balance
1:N 1:N
History
Branch Account_ID
Branch_ID Branch_ID
1:N
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

Branch_Balance Teller_ID
Amount
Teller 1:N TimeStamp
1:N Teller_ID
Branch_ID
Teller_Balance
 12/01/2006
13

TPC/A et TPC/B

Goulots d’étranglement
• compte client : indexation
• historique : fin partagée par tous les trans

Performances
• Travail
• 100 000 instructions, 2-3 IOs disque
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

• 2 interactions avec le terminal

• Mesures
• TPS : nombre de transactions par seconde
Condition: 95 % (90%) des transactions ont un temps de réponse inférieur à
2 secondes (1 sec)
• Ratio Coût en $ / TPS
 12/01/2006
14

20 ans plus tard

“A $2k computer can execute about 8k transactions per

second. This is 80x more than one of the largest US bank’s
1970’s traffic – it approximates the total US 1970’s financial
transaction volume. Very modest modern computers can
easily solve yesterday’s problems.” Gray and Levine

A lire
• “A Measure of Transaction Processing 20 Years Later,” Jim
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

Gray, MSR-TR-2005-57, April 2005. IEEE Data Engineering

Bulletin, V.28.2, pp. 3-4, June 2005
• “Thousands of DebitCredit Transactions-Per-Second: Easy
and Inexpensive”, Jim Gray; Charles Levine, MSR-TR-2005-
39, April 2005
 12/01/2006
15

Amélioration des performances sur 15 ans

Didier Donsez, 1998-2005, Benchmarks pour SGBDs
 12/01/2006
17

TPC/C : Order/Entry

• Simulation d’une application de prise

de commande et de gestion de stock
• palie la simplicité du Débit Crédit
• mélange 5 types de transaction
(plus ou moins lourdes)
• New Order
• Payment
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

• Order-Status
• Delevery
• Stock Level
 12/01/2006
18

TPC/C

• Base : ~350 Mo
• 9 tables
Warehouse (1 ligne, 89 octets/ligne)
District (10 lignes, 95 octets/ligne)
Customer (30 000 lignes, 655 octets/ligne)
History (30 000 lignes, 46 octets/ligne)
Order (30 000 lignes, 24 octets/ligne)
New-Order (9 000 lignes, 8 octets/ligne)
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

Order-Line (300 000 lignes, 54 octets/ligne)

Stock (100 000 lignes, 306 octets/ligne)
Item (100 000 lignes, 82 octets/ligne)
 12/01/2006
19

TPC/C

Contraintes
• Temps de réponse pour New Order, Payment, Order-Status
• Batch pour Delevery
• Cohérence pour StockLevel

Charge de Travail (workload)

• même nombre de New Order et Payment
• et 1 Order-Status, Delevery, Stock Level
tous les 10 New Order
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

Mesures
• TPMC : nombre de transactions New Order par minute
 12/01/2006
20

Modèle de Données de TPC-C

1:10
Warehouse District
N N*10

1:100000
History
1:3000
N*30.000
1:1
Stock Customer
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

N*100.000 N*30.000
New_Order
N*9.000 1:0-1
1:1 1:3 1:1

Item Order_Line Order

N*100.000 N*300.000 1:5-15 N*30.000
 12/01/2006
21

TPC-E : Entreprise

• Extension de TPC-C (Draft puis Abandonné)

• Même modèle de données,mais 16 x plus grande
• archivage sur 180 jours (au lieu de 90 jours)
• 3 transactions de plus dans TPC-E
• Customer_Inquiry
consultation de l ’état d ’un compte client
1 lecture, temps de réponse < 1 sec
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

• Customer_Status
édition des paiements effectués par client (groupement par distrinct et par
magasin)
• Customer_Demographics
analyse les activités des clients en fonction de la démographie
 12/01/2006
22
Benchmark pour les BD Décisionnelles
(InfoCentre)

Charge de travail
• Data Warehouse & Data Mining

Les benchmarks DW du TPC
• TPC-D : BD Décisionnelles (InfoCentre) Obsolète
• TPC Benchmark H (TPC-H)
ad-hoc, decision support benchmark
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

• TPC Benchmark R (TPC-R)

business reporting, decision support benchmark

Autre
• The Drill Down Benchmark (VLDB98)
Data Mining (décisionnel)
» performance d ’un SGBD en ‘ backend ’ d ’un outil de Data Mining
 12/01/2006
23

TPC-D : BD Décisionnelles (InfoCentre)

SF : Scale Factor
• 1,10,30,100,300,1000,3000,10000
• soient des BDs de 1 Go à 10 To

Modèle de données

Part Supplier Nation

Didier Donsez, 1998-2005, Benchmarks pour SGBDs

SF*200K SF*10K 25

PartSupp Customer Region

SF*800K SF*150K 5

LineItem Order Time

SF*6000K SF*1500K 2557

D ’après [Bes97]
 12/01/2006
24

Modèle de données du TPC-D H R

PART (P_) PARTSUPP (PS_) LINEITEM (L_) ORDERS (O_)

8 tables SF*200,000
PARTKEY
SF*800,000
PARTKEY
SF*6,000,000
ORDERKEY
SF*1,500,000
ORDERKEY

NAME SUPPKEY PARTKEY CUSTKEY

MFGR AVAILQTY SUPPKEY ORDERSTATUS

BRAND SUPPLYCOST LINENUMBER TOTALPRICE

TYPE COMMENT QUANTITY ORDERDATE

SIZE EXTENDEDPRICE ORDER-

CUSTOMER (C_) PRIORITY
CONTAINER SF*150,000 DISCOUNT
CLERK
CUSTKEY
RETAILPRICE TAX SHIP-
NAME PRIORITY
COMMENT RETURNFLAG
ADDRESS COMMENT
LINESTATUS
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

SUPPLIER (S_) NATIONKEY

SF*10,000 SHIPDATE
PHONE
SUPPKEY COMMITDATE
ACCTBAL
NAME RECEIPTDATE
MKTSEGMENT
ADDRESS
SHIPINSTRUCT
COMMENT
NATIONKEY SHIPMODE
PHONE NATION (N_) COMMENT
25
ACCTBAL
NATIONKEY REGION (R_)
COMMENT 5
NAME
REGIONKEY
REGIONKEY
NAME
COMMENT
COMMENT D ’après TPC
 12/01/2006
25

TPC H et R
• decision support benchmark

The TPC Benchmark H (TPC-H)
ad-hoc
• suite de requêtes ad-hoc (orienté business) et de modifications
concurrentes
large volumes of data,
queries with high degree of complexity
• Mesure
• TPC-H Composite Query-per-Hour Performance Metric (QphH@Size)
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

The TPC Benchmark R (TPC-R)

business reporting, decision support benchmark
• Similaire au TPC-H, mais permet des optimisations sur les requêtes
complexes.
• Mesure
• TPC-R Composite Query-per-Hour Performance Metric (QphR@Size)

Taille des bases
• SF (Scaling Factor)=1 (~1Go), 10, 30, 100, 300, 1,000, 3,000, 10,000
 12/01/2006
26

Suite de Requêtes du TPC-H & R

Pricing Summary Report Query (Q1)

Minimum Cost Supplier Query (Q2)

Shipping Priority Query (Q3)

Order Priority Checking Query (Q4)

Local Supplier Volume Query (Q5)

Forecasting Revenue Change Query (Q6)

Volume Shipping Query (Q7)

National Market Share Query (Q8)

Product Type Profit Measure Query (Q9)

Returned Item Reporting Query (Q10)

Important Stock Identification Query (Q11)

Shipping Modes and Order Priority Query (Q12)
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

Customer Distribution Query (Q13)

Promotion Effect Query (Q14)

Top Supplier Query (Q15)

Parts/Supplier Relationship Query (Q16)

Small-Quantity-Order Revenue Query (Q17)

Large Volume Customer Query (Q18)

Discounted Revenue Query (Q19)

Potential Part Promotion Query (Q20)

Suppliers Who Kept Orders Waiting Query (Q21)

Global Sales Opportunity Query (Q22)

New Sales Refresh Function (RF1)

Old Sales Refresh Function (RF2)
 12/01/2006
27
Exercice : quelle configuration
Exemple de résultats choisir pour un niveau de perf
=2800 QphH

TPC-H Results - Revision 1.X - 300GB Scale Factor
• 01/2001
p h H) t w a re tem
( $ / Q C o s o f t S ys
p an
y er f. l Sy s. cy b as e S t i n g y pe 's
te m H e P re n a ra T PU
C o m S ys SF Q ph P ric Tota C u r Da t O pe CP U #C
NetServer LXr Microsoft SQL Microsoft Intel Pentium III
HP 8500 300 1402.5 207 290737 US $ Server 2000 Window s 2000 Xeon 700MHz 8N
Microsoft SQL Microsoft Intel Pentium III
Compaq ProLiant 8000-8P 300 1506.8 280 422173 US $ Server 2000 Window s 2000 Xeon 700MHz 8N
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

AlphaServer ES40 Informix XPS 8.31 Compaq Tru64 Alphachip 21264

Compaq Model 6/667 300 2832.1 1058 2995034 US $ FD1 UNIX V5.1 667 MHz 16 Y
Intel Pentium III
IBM NUMA-Q 2000 300 4027.2 652 2625301 US $ IBM DB2 UDB 7.1 DYNIX/ptx 4.5.1 Xeon 700MHz 32 N
AlphaServer Informix XPS 8.30 Compaq Tru64 AlphaChip
Compaq GS320 Model 6/731 300 4951.9 983 4865968 US $ FC3 UNIX V5.1 21264A 731 MHz 32 N
Intel Pentium III
IBM NUMA-Q 2000 300 5923.2 653 3868930 US $ IBM DB2 UDB 7.1 DYNIX/ptx 4.5.1 Xeon 700MHz 48 N
Intel Pentium III
IBM NUMA-Q 2000 300 7334.4 616 4516767 US $ IBM DB2 UDB 7.1 DYNIX/ptx 4.5.1 Xeon 700MHz 64 N
 12/01/2006
30

Résultats attendus

Indicateurs
• Performance sur un système donnée
• Nb de Transactions réalisées par seconde
• Coût du système complet (matériel+logiciel+maintenance)
• Prix par 1 tps

Exemple : le TPC-D (au 12/98)

Didier Donsez, 1998-2005, Benchmarks pour SGBDs

Machine Sequent NUMA Q2000 + Base de 300 Go

• + ORACLE 8
• Puissance : 3232,3 TPC (soit 19700 F / tps)
• + INFORMIX XPS
• Puissance : 2667,7 TPC (soit 20800 F / tps)
 12/01/2006
31

Publication des Résultats

IDEAS ([Link] et d ’autres ...

• Exemple : TPC/C 03/00
tpmC $/tpmC Total Sys. Cost Database Softw are Operating System TP Monitor Server CPU Type
# Server CPU's
227079 19,1 4341603 M icro so ft SQL Server 2000 M icro so ft Windo ws 2000
M icro so ft COM + Intel P entium III Xeo n 550 96
M Hz
152208 18,9 2880431 M icro so ft SQL Server 2000 M icro so ft Windo ws 2000
M icro so ft COM + Intel P entium III Xeo n 550 64
M Hz
135816 52,7 7156910 Oracle 8i V8.1.6 IB M A IX 4.3.3 IB M TXSeries 4.2 fo rIBAM
IX RS64-III 450M Hz 24
135816 54,9 7462215 Oracle 8i V8.1.6 IB M A IX 4.3.3 IB M TXSeries 4.2 fo rIBAM
IX RS64-III 450M Hz 24
135461 97,1 13153324 Oracle8i Ent. Editio n [Link] Sun So laris 2.6 B EA Tuxedo 6.3 Ultra SP A RC II 400M Hz 96
115396 105,6 12189298 Oracle 8i v.[Link] Sun So laris 7 B EA Tuxedo 6.3 Ultra SP A RC II 400M Hz 64
110434 122,4 13521883 60
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

Oracle Oracle8 V8.0.5 IB M A IX 4.3.2 IB M TXSeries 4.2 fo rIBAM

IX RS64-II 262 M Hz
102542 139,5 14303550 Oracle Oracle8 Enterprise EditioDigital
n 8.0 Digital UNIX 4.0D
Digital TP Web Server-DB
Digital V1.1 96M Hz
DECchip 21164 612
102024 63,2 6448894 Sybase A daptive Server Enterprise
HP HP12.0-UX 11.00 B EA Tuxedo 6.4 P A -RISC 8500 440M Hz 32
101657 35,7 3627928 Oracle 8i V8.1.6 M icro so ft Windo ws NT
Co Enterprise
mpaq DB WebEditio
ConIntel
nnecto
4.0 P entium
r III Xeo n 550 48
M Hz
99275 39,1 3886116 Oracle 8i V8.1.6 M icro so ft Windo ws NT
Co Enterprise
mpaq DB WebEditio
ConIntel
nnecto
4.0 P entium
r III Xeo n 550 48
M Hz
93901 131,7 12363684 Oracle Oracle8 Enterprise EditioDYNIX/ptx
n 8.0.4 4.4 B EA Tuxedo 6.3 Intel Xeo n 405 M Hz 64
92833 87,7 8142782 Oracle8i [Link].1 HP HP -UX 11.00 B EA Tuxedo 6.4 P A -RISC 8500 440M Hz 32
52118 81,2 4229894 Sybase A daptive Server Enterprise
HP HP11.5-UX 11.00 Tuxedo 4.2.2 HP P A -RISC 8200 240 M 16
Hz
 12/01/2006
32
Les Benchmarks
pour SGBDs Objets

Charge de Travail SGBDs OO
• Navigation et Ensembliste (≠ OLTP)

OO1 (Cattell, Sun MicroSystems)

HyperGraph
• Amélioration de OO1
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

OO7 (Dewitt et al, Université de Wisconsin)

• modèle complexe d’un atelier CAD/CAM
 12/01/2006
33

OO7 (University of Wisconsin)

But
• Charge de travail variée et plus réaliste
sur une SGBD-OO en client-serveur
• Modélise un environnement CAD/CAM
• (Données et Requêtes)
• Sources et Résultats sur [Link]/007
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

Scale Factor

Conditions
• Données déjà cachées en mémoire du client (Hot)
• Données sur les disques du serveur (Cold)
 12/01/2006
34

Modèle de Données de OO7

DesignObj
id
type
buildDate

Assembly
Assembly Module

SubAssemb
root part
DesignRoot
Man
AtomicPart CompositePart
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

ComponentsPriv BaseAssembly ComplexAssembly

x
y Manual
docid
ComponentsShared title
Connexion id
atomic part text
textLen
Documentation
type
length Document
title
id
text

Modèle de Données OO7 (Notation OMT/Rumbaugh)

 12/01/2006
35

OO7 Opérations et Questions

Traversée de pointeurs
• opération de déréférenciation (coté client)
• Traversée dense / Traversée éparse

Modification
• champs d ’objets indexés ou non
• modification répétées, modifications éparses
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

• création et destruction d ’objets

Questions ensemblistes
• recherche exacte, sur intervalle
• parcours de collection
• path-join, ad-hoc join, single-level make
 12/01/2006
36

OO7 - Exemples de résultats

Essais (enseconde) Exodus Ontos Objectivity Objectstore

t1froidS3 34,8 28,9 38,5 22,7
t1chaudS3 10,6 8,1 17,9 6,2
t1M3 734,5 1064,6 548,7 372,5
t2bfroidS3 40,5 39,8 60,8 35,9
t2bM3 963,3 901,7 1329,4 519,6
t9froidS3 0,2 1,3 8,3 1,2
t9chaudS3 0,002 0,002 0,02 0,01
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

t9M3 0,2 4,9 11,1 1,1

q2froidS3 2,0 4,8 10,8 11,0
q2chaudS3 0,008 0,01 0,06 0,04
q2M3 18,0 34,8 33 52,1
Taille BDS3(enMo) 11,5 4,2 5,7 4,4
Taille BDM3(enMo) 103,8 51,7 54,6 37,5
 12/01/2006
37

Benchmarks pour les SIG

Sequoia 2000 Benchmark

• ADT spatial / géographique
• Base : zone du Nevada de 1280 kms par 800 kms
• Données de type : rasters, polygones, points, graphes directs
• Charge de travail : mix de 10 requêtes SQL étendus (ADT).
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

• Références
• Michael Stonebraker, James Frew, Kenn Gardels, Jeff Meredith: The
Sequoia 2000 Benchmark. SIGMOD Conference 1993: 2-11
• [Link]
 12/01/2006
38
Les Benchmarks
pour SGBDs Objet-Relationnel

SGBDs OR et Universels
• Une norme SQL3 et des SGBDs Oracle, Informix, Sybase,
DB2, CA-OpenIngres

Charge de Travail SGBDs OR
• Navigation et Ensembliste (Objet)
• OLTP (Relationnel)
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

BUCKY Object-Relational
• Carey et al, 1997, Université de Wisconsin
 12/01/2006
39
BUCKY Object-Relational Benchmark
Université de Wisconsin
• Benckmark of Universal or Complex Kuery Interfaces

Objectifs
• mesurer les performances des les fonctionnalités O-R
• ADT
• Fonctions d ’ADT
• Héritage
• Colonnes Multivaluées (SET, MULTISET, LIST)
• Déréférenciation (1 et 2 niveaux)
• pas de navigation (traversée de référence) coté client (OO7)
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

• pas de transactionnel OLTP (TPC-x)

Méthodes
• 2 conceptions alternatives de la Base
• conception Objet-Relationnelle / conception Relationnelle
• Comparaisons (Mesure de temps)
• temps requête base OR par rapport temps requête base OR
 12/01/2006
40

Modèle de Données de BUCKY

Didier Donsez, 1998-2005, Benchmarks pour SGBDs

D ’après [Cat97]
 12/01/2006
41
Les Benchmarks
pour SGBDs sur le Web

Charge de Travail
• Interrogation d ’une base via des browsers Web
• Transactionnel sur le Web
• Commerce électronique (sécurité, paiement…)

Benchmarks
• WebMark
• orienté requête HTTP/GET sur des documents statiques
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

• SPECWeb
• TPC-W (voir le cours « Benchmarks pour services Web »)
• orienté transactionnel

• A voir aussi : Apache Jmeter

• itère et parallèlise une requête GET sur un serveur HTTP
 12/01/2006
42

Les autres benchmarks

Orienté Métier
• Sequoia Benchmark
• Système d ’Information Géographique
SGBD spatial
Didier Donsez, 1998-2005, Benchmarks pour SGBDs
 12/01/2006
43

Benchmarks Bases XML

Performance des SGBDs (OO, Relationnel, Dédié)

sur le stockage et la recherche (structurelle, full
text)

Travaux académiques
• XMach-1, Xmark, XOO7, XBench …
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

• Voir [Link]
 12/01/2006
44

Des produits

Benchmark Factory
• [Link]
• Outil de test et de construction de benchmark
S3AP, Set-Query, Wisconsin, WebStone, TPC-B, C&D
sont prédéfinis
Didier Donsez, 1998-2005, Benchmarks pour SGBDs
 12/01/2006
45

Benchmarks propriétaires

SAP (ERP)
• Metric : SAPs
• [Link]
• [Link]
Didier Donsez, 1998-2005, Benchmarks pour SGBDs
 12/01/2006
47

Bibliographie - Livres

Jim Gray, "The benchmark handbook for database and transaction

processing systems", Ed. Morgan Kaufmann, ISBN 1-55860-292-5.
• [Link]

Besancourt, Cart, Ferrié, Guerraoui, Pucheral, Traverson, «Les
Systèmes Transactionnels», Ed. Hermes, 1997, ISBN 2-86601-645-9,
Chapitre 13.

P.A. Bernstein, E. Newcomer, «Principles of Transaction Processing
for the Systems Professional», Ed. Morgan Kaufmann, 1997, ISBN 1-
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

55860-415-4, Chapitre ??

Robert Orfali, Dan Harkey, « Client/Server Programming with Java and
Corba », 2ème édition, 1998, Ed Wiley, ISBN 0-471-24578-X.
• voir l ’implantation du TPC/A avec JDBC et Corba dans les chapitres 23 à 25
 12/01/2006
48

Bibliographie - Articles

Datamation 85

Bitton, DeWitt, Turbyfill: "Benchmarking database systems - a systematic approach",
Proc. VLDB 1983.
• article décrivant le Wisconsin Benckmark

R. Cattell, J. Skeen, « Object Operation Benchmark », ACM TODS, 17(1), Mars 1992.

Michael J. Carey, David J. DeWitt, Jeffrey F. Naughton, "The OO7 Benchmark",
SIGMOD'93

Michael J. Carey, David J. DeWitt, Chander Kant, and Jeffrey F. Naughton. A status
report on the OO7 OODBMS benchmarking effort. In Proceedings of the ACM OOPSLA
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

Conference, pages 414--426, Portland, OR, October 1994.

T. Lougenia Anderson, Arne J. Berre, Moira Mallison, Harry H. Porter III, Bruce
Schneider, "The HyperModel Benchmark", Intl Conf. on Extending Database
Technology, Venice, Italy, March 1990, Springer Verlag.

Michael J. Carey, David J. DeWitt, Jeffrey F. Naughton, Mohammad Asgarian, Paul
Brown, Johannes Gehrke, Dhaval Shah, « The BUCKY Object-Relational Benchmark
(Experience Paper) », Proceedings ACM SIGMOD International Conference on
Management of Data, May13-15, 1997, Tucson, Arizona, USA. SIGMOD Record 26(2),
June 1997 pp135-146, [Link]
 12/01/2006
49

WWW

Transaction Processing Council

• [Link]

FAQ of [Link]
• [Link]

Le benchmark OO7
• avec la voyelle O
et non avec le chiffre Zéro comme l ’espion qui m ’aimait ;-)
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

• [Link]

Le site de Jim Gray (le guru du domaine)
• [Link]

Autre
• Benchmarking Club de Paris, [Link]
 12/01/2006
50

Benchmarks à tester

Orfali sur CORBA (chapitres 24 à 26)

• propose une approximation du benchmark TPC/B
• pour un ORB CORBA et JDBC en mode 2 tiers et 3 tiers

[Link]
• implémentation client Java, Servlets, JDBC, SGBDR du
TPC/W
Didier Donsez, 1998-2005, Benchmarks pour SGBDs

[Link]
• propose une approximation du benchmark TPC/W pour
StoredObject (SGBD 100% Java

Rubis, Rubos, … sur [Link]
 12/01/2006
51

Cours reliés

cours « Benchmarks pour les services Web »

• [Link]
Didier Donsez, 1998-2005, Benchmarks pour SGBDs