Cigras2014 cuant riesgo

Cuantificacin del Riesgo en Etapas Tempranas

Ing. P. Ortiz Bochard, M.Sc., PMPSet-2014

V Congreso Internacional sobre Gobierno, Riesgos, Auditora y Seguridad de la Informacin

Agenda

Riesgo e Incertidumbre Objetivo Algunas crticas al enfoque cualitativo Ms crticas.. El problema y algunas soluciones

Axiomas y Ley de Cox Mtodo de priorizacin AHP

Ing. P. Ortiz Bochardset-2014

Education never ends Watson. It is a series of lessons with the greatest for the last

Sherlock Holmes, The red circle, 1917

2

Riesgo e Incertiumbre

Ing. P. Ortiz Bochardset-2014 3

If you will begin with certainties, you shall end in doubts, but if you will content to begin with doubts, you shall end in almost certainties. Francis Bacon

Es extremadamenterelevante el riesgoen etapastempranas; sucuantificacindebera ser unobjetivo deseable,aunque en algunoscasos puede serimprctico o noadecuado

set-2014 Ing. P. Ortiz Bochard 4

Ej. de cuantificacin de la incertidumbre

+300%

-75%

+50%

-33%

El CONO DE INCERTIDUMBRE

Boehm, 1981

El PMBOK tiene un enfoque similar pero asimtrico; ROM [+75%;-25%]??

Riesgo Incertidumbre


Riesgo = Incertidumbre que importa, esto es, que puede afectar los objetivos

El Riesgo es el efecto de la incertidumbre en los objetivos (ISO 31000:2009)

Un Riesgo es un evento o condicin incierta que, si ocurre, puede tener un efecto positivo o negativo en los objetivos (PMBOK, 2013)

Incertidumbre Objetivosriesgo

Probability is the language of uncertainty

J. Schuyler, 2011

Cuantitativamente (Hubbard, 2009)

Incertidumbre: falta de completa certeza, esto es, la existencia de mas de una posibilidad. El valor de los resultados verdaderos no se conocen. La incertidumbre representa la falta de conocimiento de las personas involucradas.

Medicin de la incertidumbre: un conjunto de probabilidadesasignadas a un resultado(s). Ej.: existe una probabilidad de 91% que esta noche haya tormentaselctricas

El Riesgo es un estado de incertidumbre donde algunas de sus posibilidades indicanprdida, catstrofe u otrosresultados indeseables

Medicin del riesgo: un conjuntode posibilidades con unaprobabilidad cuantificada yprdidas cuantificadas. Ej.: existe un 50% de probabilidadde que la prdida sea U$S 2: silos datos son robados

Un evento de riesgo puede o no puede ocurrir con una prob.

set-2014 Ing. P. Ortiz 6

Algunas T&H cuantitativas

Ing. P. Ortiz Bochard

Estimacin 3 puntos (PERT)

Valor Monetario Esperado

Anlisis de Sensibilidad

SimulacinMonte Carlo

Distribuciones de Probabilidad

set-2014

Anlisis: Qu pasa si?

Anlisis de Escenarios

Redes Bayesianas

rboles de decisin

7

entre otras..

set-2014 Ing. P. Ortiz Bochard

Probabilidad

ImpactoClasificacin

8

Objetivo: presentar algunas pautas de diseode MR cualitativas para clasificar riesgoscuantitativos

MR ordinales

La valoracin cualitativa de las MR

Ing. P. Ortiz Bochard

We balance probabilities and choose the most likely. It is the scientific use of the imagination

A. Conan Doyle. The Hound of the Baskervilles (1902)

set-2014 9

Crticas al enfoque cualitativo

Escalas de rating ambiguas y misteriosas

La Probabilidad e Impacto no estnclaramente definidos

Hasta el 100% de los puntos pueden estarmal rankeados si la probabilidad y el impacto estn negativamentecorrelacionados


Mucha veces el propio Riesgo no est bien definido, por ejemplo

Porqu es 100% la probabilidad de un impacto menor y tambin es 100% una de impacto crtico? (range compression; Cox(2008); Hubbard (2009))


Cmo se debera clasificar un riesgo de 5% de probabilidad de impactomoderado y uno de 95% de probabilidad de impacto menor?


Ms crticas

Hubbard afirma que los mtodos cualitativosestn en el borde o son intiles


Crticas de los mt. cualitativos s/Hubbard


... Since what these standards all have in common is the used of various scoring schemes instead of actual quantitative risk analysis methods, I will call them collectively the scoring methods. And all of them, without exception, are borderline or worthless. In practice, they may make many decisions far worse than they would have been using merely unaided judgments

http://www.isaca.org/Journal/Past-Issues/2010/Volume-2/Documents/1002-online-the-failure.pdf 14

3 Crticas relevantes (Hubbard)


1. Los mtodos cualitativos no tiene en cuentapercepciones errneas de los analistas queasignan puntajes, no considera el efecto delsesgo cognitivo (cognitive bias)

2. Las descripciones cualitivas son entendidasdiferente por diferentes personas.

15

Cont., 3.1

3.1 Los scores tienden a agruparse en el rangomedio-bajo. Hubbard analiza esta situacin enproyectos de tecnologa, en un escala de 1 a 5puntos, 75% de las respuestas son 3 4. Estoimplica que cambiar el score de 3 a 4, o viceversa,tiene un efecto importante en la clasificacin delos riesgos


Cont., 3.2

3.2 Los scores implcitamente asumen que la cantidad asumida es directamente proporcionala la escala. Por ejemplo, un score de 2 implicaque el criterio medido es 2 veces mas grandeque el score 1. Sin embargo no es correcto si se trata con escalas ordinales


porqu?

17

Escalas Numricas

1. Nominales- Hombre-1; Mujer-2 2. Ordinales- orden definido: primero/segundo; 0..53. Intervalo- diferencias tienen significado; ej.

temperatura, el cero no es ausencia de temperatura

4. Razn- Cero real5. Cardinal


5 (5,1)

5 (1,5)

Riesgo Alto

5

X NO ESADMISIBLE

EN EO 1 5

1

P

r

o

b

Imp

cuan

titativascualitativa

El problema y algunas soluciones


Si se quiere disear una correcta MR, cmo hacerlacorrectamente? vale la pena el esfuerzo?

Axiomas y Ley de Cox

Rankings cuantitativos

Axiomas y Ley de Cox cmo construir MR consistentes*

A1. Consistencia dbil

A2. Intermediacin(betweenness)

A3. Coloracin consistente

Ley. La regla de nicamente 3 colores

Low High

High

Low

Low High

High

Low

* Cualitative risk ranking provided by a risk matrix will agree with the quantitative risk ranking only if the matrix is constructed according to certain general principles (Cox)

Matrices de 3x3 y 4x4 deberantener este aspecto para minimizarproblemas.


A y L Cox, ejemplo


A1.Consistencia dbil.Todos los riesgos valorescuantitativos bajos deben estar posicionados en la regincualitativa baja (verde) e inversamente para los riesgosaltos. Los R1 y R2 son inconsistentes

x=0,17x=0,23

A2.Intermediacin. Un resultado no puede cambiar dela regin verde directamente a la regin roja debido apequeos cambios en la probabilidad y consecuencia(impacto).

+0,01 +0,02

Cont.


A3. Coloracin consistente. Las celdas que intersectan oestn debajo del contorno iso-riesgo verde, deben serverdes, y recprocamente. Esto es, riesgos con el mismovalor cuantitativo deben tener el mismo color

Primer Lema de Cox: Si una MR satisface la consistencia dbil, entoncesninguna celda roja (categora de riesgo mayor) puede ser adyacente conuna celda verde (categora riesgo menor)

Tres colores son suficientes

Tres colores son suficientes

Ranking

Proceso sistemticousado para poner un conjunto de tems enuna secuencia ordinal

Simple cuando se dispone de medidasobjetivas del riesgo u otras caractersticasde inters estndisponibles

Requiere Items a ser rankeados

(alternativas) Definir cuidadosamente un

procedimiento formal para hacer el ranking

Evidencia de la medida de cada tem o un rating de cada criterio

Pesos diferentes para los criterios cuando sea apropiado

Un algoritmo que sinteticeel proceso


AHP Un algoritmo formal

AHP (Analitycal HierarchyProcess) es un mtodo de toma de decisiones en situacionescon mltiples objetivos [Saaty,1980]

Provee la estructura y guapara el pensamento sistemtico en la toma de decisionescomplejas.

Permite usar criterios tanto cualitativos como cuantitativos en la evaluacin


Ejemplo

El objetivo es desarrollar para un banco un modelo de poltica de seguridad de la informacin para un proyecto de banca electrnica basado en el modelo de la figura. Se usar el mtodo AHP pueda guiar a los tomadores de decisin para definir la poltica mas acertada.


criterios

alternativas

objetivo

Basado en: Syamsuddin and Hwang: The Application of AHP Model to Guide Decision Makers:A Case Study of E-Banking Security

AHP Procedimiento

1. Crear una matriz , para los criterios

2. Cada elemento (, )de la matriz tiene un valorasignado segn la tabla siguiente:

set-201426Ing. P. Ortiz Bochard

Gestin Tecnologa Economa Cultura

Gestin 1 2 1/2 1/2

Tecnologa 1/2 1 1/3 1/4

Economa 2 3 1 1

Cultura 2 4 1 1

AHP- Criterios de ponderacin en la comparacin por pares

y para cada (, )ingrese el recproco


AHP, cont.

3. Determinar las prioridades.

Consideremos = ; donde: es la matriz de comparacin de tamao , para criterios.

es el vector propio de tamao 1 que secorresponde con el ranking de prioridades

es el valor propio,

4. Para obtener las prioridades, se deber calcular elvalor propio principal (mximo) correspondiente alvector propio de la matriz de comparacin


Resultados parciales


(Web-HIPRE)

Subcriterios


subcriterios


Confidencial idad 68,8%

Integridad 23,3%

Disponibilidad 7,9%

Priorizacin final

Consistencia y Anlisis de Sensibilidad


5. Validar la consistencia de los criterios (ndice CR

Bibliografa

1. COX Jr., L., Whats Wrong with Risk Matrices?. Risk Analysis, Vol. 28, No. 2, 2008

2. HUBBARD, D., The Failure of Risk Management. Cap. 7. Worse than Useless The most popular risk assessment method and Why it doesn't work. Wiley & Sons. 2009

3. SAATY, T. The Analytic Hierarchy Process. New York: McGraw-Hill, 1980

4. SAATY, T. How to make a decision: The Analytic Hierarchy Process. European Journal of Operational Research. 1990, Vol. 48, p. 9-26


Bibliografa, cont.

5. SYAMSUDDING, I.; HWANG, J. , The Application of AHP Model to Guide Decision Makers: A Case Study of E-Banking Security, 2009.

6. McCONNELL, S. http://www.construx.com/Thought_Leadership/Books/The_Cone_of_Uncertainty/ [Consultado el 1-9-14]

7. HASSET, M.; STEWART, D., Probability for RiskManagement, 2006

8. WEB-HIPRE. http://hipre.aalto.fi/ [Consultado el 30-8-14]


Ing. P. Ortiz Bochardset-2014 36

Cigras2014 cuant riesgo

Education

Transcript of Cigras2014 cuant riesgo