Dirección Nacional de Censos y Encuestas Lima, Agosto de … · 2013-09-26 · cédulas impresas a...

| Informe Final 1

Dirección Nacional de Censos y Encuestas Lima, Agosto de 2013

PROCESAMIENTO Es el conjunto de tareas orientadas a realizar la transferencia de los datos obtenidos en campo a través de cédulas impresas a medios magnéticos que permiten procesar la información y obtener una base de datos con el máximo de calidad y exento de errores. Comprende la obtención de la base de datos como fiel reflejo de la información de las cédulas censales con la aplicación de reglas de consistencia y calidad así como ponerla a disposición de los usuarios a través de la tecnología informática y de comunicaciones.

9.1 Objetivos

Realizar las actividades de procesamiento de los datos obtenidos de la ejecución del IV Censo Nacional Agropecuario, que permitan proporcionar a los usuarios finales información de calidad para el análisis y formulación de planes y programas. Esta información se proporcionará en los productos finales: cuadros estadísticos, base de datos, directorio de productores agropecuarios y marco de unidades agropecuarias.

Realizar el control de calidad de los datos de la cédula censal, y corregir los errores que pudieran derivarse del reconocimiento de caracteres y/o del trabajo de campo.

Realizar la consistencia de la estructura de los datos de la cédula censal para asegurar la correcta conformación de las unidades agropecuarias.

Realizar la codificación de las respuestas a las preguntas abierta con el fin de asignar códigos numéricos a los datos literales para facilitar el análisis de estas preguntas.

Realizar la consistencia de los datos de la cédula censal para asegurar la corrección lógica por pregunta y entre preguntas.

Elaborar los cuadros estadísticos que permitan el análisis básico de los datos obtenidos.

9.2 Organización funcional

La administración de las actividades informáticas del Procesamiento es de competencia de la Oficina Técnica de Informática (OFICINA TÉCNICA DE INFORMÁTICA). Para el desarrollo, ejecución y/o supervisión de las diferentes actividades de Procesamiento de Datos, el equipo conformado por la Dirección técnica de OFICINA TÉCNICA DE INFORMÁTICA, los Coordinadores de la Plataforma Informática, Administrador de Recursos, por el equipo de Desarrollo de Sistemas, el equipo de Base de Datos, el equipo de Administración de Servicios Informáticos y el equipo de Producción de Datos, como se presenta en organigrama funcional siguiente:

CENSO NACIONAL AGROPECUARIOORGANIGRAMA FUNCIONAL PARA EL PROCESAMIENTO DE DATOS

DIRECCIÓN TÉCNICA OTIN

COORD. PLATAFORMA INFORMÁTICA

ADM. DE SERVICIOS INFORMÁTICOS

CONTROL DE CALIDAD DE DATOS

BASE DE DATOS

DESARROLLO DE SISTEMAS

ADMINISTRACIÓN DE RECURSOS

| Informe Final 3

Dirección Técnica OFICINA TÉCNICA DE INFORMÁTICA, se encargó de planificar, dirigir, coordinar y supervisar las actividades del procesamiento de datos.

Coordinación de la Plataforma Informática, se encargó de la coordinación informática del proyecto.

Administrador de Recursos, se encargó de elaborar el presupuesto, preparar la documentación administrativa, emitir informes de evaluación de la ejecución presupuestal, asistir a La Dirección Técnica OFICINA TÉCNICA DE INFORMÁTICA en actividades administrativas.

Equipo de Desarrollo de Sistemas, se encargó del análisis, diseño, construcción e implementación de los sistemas de información requeridos para el procesamiento de la información censal y generación de los productos de difusión, teniendo en cuenta la innovación de metodologías y tecnología informática, así mismo debe considerar que dichos sistemas deben ser de uso institucional en otros proyectos similares. Así mismo tendrán bajo su responsabilidad el aseguramiento de la calidad del software a utilizarse.

Equipo de Base de Datos, se encargó del diseño de las bases y de la administración de las bases de datos, para alojar la información de todo el censo así como información para la difusión de los resultados.

Equipo de Administración de Servicios Informáticos, se encargó de la implementación de las tecnologías de redes, administración de red, comunicaciones, seguridad y así mismo de brindar el soporte técnico.

Equipo de Control de Calidad de Datos, se encargó de la ejecución de los procesos automatizados para el control de calidad de la información censal. Para ello, es responsables de la ejecución y/o supervisión de: recepción del material censal para su procesamiento, control de calidad de los datos, proceso de consistencia e imputación, tabulación.

9.3 Tareas Realizadas

Para la ejecución de las tareas se establecieron las estrategias siguientes:

Integración de todos los procesos del censo.

Aplicación de la tecnología ICR como método de captura de datos mediante la tercerización.

Desarrollo de sistemas de información transversales a todas los procesos del censo.

Cambio de plataforma de desarrollo de sistemas haciendo uso de software libre.

Los siguientes diagramas de procesos muestran las tareas ejecutadas en el procesamiento, los cuales se describen a continuación. 9.3.1 Recepción, Inventario y Control de Documentos

La recepción del material censal fue en las instalaciones de la empresa proveedora. El personal del área de recepción registró cada caja en el Sistema de Registro y Control de Documentos utilizando el lector de código de barras del PDA asignado. La recepción del material censal se realizó a nivel de caja, área de trabajo y tipo de documentos (cédulas censales y material cartográfico). Inventario del Material Censal. El inventario del material censal fue realizado por el personal de UDRA del INEI, en las instalaciones de la empresa proveedora. En el ambiente de trabajo establecido para tal fin se organizaron 12 mesas de 6 inventariadores y un supervisora. El supervisor recibía del área de recepción, las bolsas de material censal por cada área de trabajo inventariado. El supervisor registra la recepción del material en el Sistema de Registro y Control de Documentos, y distribuye a cada inventariador el material censal que corresponde

de acuerdo a su carga de trabajo. El inventariador recepciona las bolsas de cédulas censales; realiza el conteo de cédulas principales y adicionales, y lo registra en el Sistema de Registro y Control de Documentos utilizando el PDA asignado para tal fin. El supervisor valida el inventario realizado por el inventariador y genera la hoja de control que contiene la identificación de la SEA (o lote de trabajo) en código de barras que se utiliza en el proceso de escaneo. Las bolsas con material censal, organizadas en lotes de trabajo y debidamente identificadas con la hoja de control, son registradas en el Sistema de Registro y Control de Documentos para el envío físico a la empresa proveedora. Para fines de monitoreo, los datos del inventario realizado se transfieren desde las instalaciones de la empresa proveedora a la sede central del INEI, utilizando procedimientos automáticos de transferencia de datos. De esta forma, los datos del inventario están disponibles para su análisis en el Sistema de Monitoreo y Seguimiento de Procesos.

Gráfico del Flujo de Procesos

Captura de

Datos

Control de Calidad de la

Lectura y

Reconocimiento

Consistencia

básica

Control de Calidad

Muestral

Recepción, Inventario y Control de

Documentos

Recepción

Inventario

Lotess

Cobertura

Estructura

Validación de datos

numéricos

Validación de datos

textos

Ok?

No Si

Si

Si

No

Control de Calidad Muestral

OK ?

Cambios?

Exportación

No

Validación (Empresa )

Exportación (Empresa )

Cobertura por distrito

Estructura

por distrito

Consistencia básica

Datos

Proceso de Codificación

Escaneo

Imágenes

Reconocimiento

Datos

Validación

Exportación

| Informe Final 5

9.3.2 Captura de Datos

La captura de datos fue realizada por la empresa proveedora en sus instalaciones, y consistió en obtener los datos de la cédula censal escaneada mediante el reconocimiento óptico de caracteres. La empresa proveedora realiza la recepción física de los lotes de trabajo con las cédulas censales inventariadas. La empresa revisa el material físico y firma la constancia de recepción donde se registran los lotes recepcionados, y el número de cédulas censales principales y adicionales. Escaneo de Cédulas. Las cédulas censales recepcionadas pasan a la línea de escaneo para lo cual previamente cada lote es sublotizado en grupos menores a 100 cédulas por motivos de manejo y seguimiento. Aquí se crea la relación de equivalencia entre los lotes del INEI y los lotes de la Empresa proveedora. Además se acondiciona la cédula censal para que el escaneado se haga en tamaño A3. Se utilizan 4 equipos escáner para el escaneado de cédulas. Reconocimiento ICR. Cada cédula escaneada pasó por el proceso de reconocimiento inteligente de caracteres resultado del cual se crea la base de datos de la cédula censal. Luego pasa por la verificación de reconocimiento, donde los datos reconocidos pasan por un conjunto de reglas de validación como rangos de valores, tipos de datos y relaciones entre variables para determinar la validez de los caracteres reconocidos. Validación. Los datos observados en el proceso de verificación pasan al proceso de validación. Este proceso es ejecutado por los operadores de validación utilizando el Sistema de Validación que presenta la cédula escaneada y los datos reconocidos campo a campo. El operador determina la validez de lo reconocido o corrige de acuerdo a lo que observa en la cédula censal escaneada. Cada lote de trabajo validado pasa por el proceso de control de calidad muestral, donde los lotes que pasaron el proceso de validación pasan por un control de calidad utilizando una muestra del 8% sobre el lote. Es decir, si el lote tiene 100 cédulas, se obtiene una muestra de 8 cédulas, las cuales se revisan al 100%. Si el número de diferencias sobrepasa el umbral especificado, el lote de trabajo completo regresa al proceso de Validación para su

Conversión Recodificación Consistencia

e Imputación Tabulación Codificación

Codificación automática

Codificación

asistida

100%

Datos Codificados

Si

No

Consistencia

e Imputación

Datos

Datos

Conversión de superficie

a Ha.

Datos

Recodificación y/o

construcción

de Variables

Datos

Generación de Cuadros

Estadísticos

Cuadros Estadístic

os

corrección. Los lotes que pasan el control de calidad pasan a estar disponibles para el proceso de exportación.

Exportación. La exportación de datos es realizada por el personal de la Empresa proveedora en sus instalaciones. Consiste en generar el archivo de datos de acuerdo a las especificaciones proporcionadas por el INEI, necesarias para el procesamiento de datos.

9.3.3 Control de Calidad de la Lectura y Reconocimiento

El control de calidad de la lectura y reconocimiento es realizado por los operadores de procesos de OFICINA TÉCNICA DE INFORMÁTICA del INEI en las instalaciones de la empresa proveedora. El operador de procesos recibe de la empresa proveedora, en un recurso de red determinado, los archivos de datos correspondientes a los lotes escaneados y validados. El operador de procesos aplica sobre estos archivos el control de calidad; para lo cual utiliza la aplicación desarrollada en CSPro que aplica un conjunto de reglas de validación sobre el archivo de datos de las cédulas escaneadas. La aplicación identifica los datos que no cumplen con las reglas de validación y genera un archivo con los errores encontrados. Este archivo es enviado a la Empresa proveedora para que revise, valide y corrija los errores encontrados. Los archivos de datos corregidos vuelven a pasar por este proceso hasta que no se detecten más errores. Las reglas de validación que se aplican a los datos de los archivos entregados se agrupan en el siguiente conjunto de reglas:

Cobertura. Las reglas de validación de cobertura comparan el número de cédulas censales del archivo de datos contra el número de cédulas censales registrado en el inventario. Esta comparación incluye las cédulas principales y adicionales. También valida la cobertura geográfica de la cédula censal con respecto al marco maestro de SEAs.

Estructura

Las reglas de validación de estructura valida la identificación de cada unidad agropecuaria, el número y orden de las parcelas; además de las cédulas repetidas y las omitidas. También se verifican los rangos de valores por cada variable, y las omisiones encontradas.

Validación de Datos Números.

Las reglas de validación de datos numéricos verifican las sumas de la superficie desagregada de los cultivos de una parcela con el total de la parcela; la suma de superficies de las parcelas con el total de la unidad agropecuaria.

Validación de Datos de Texto

Las reglas de validación de datos de texto validan que los textos reconocidos existan en las tablas maestras correspondiente a la pregunta.

9.3.4 Control de Calidad Muestral

Control de Calidad Muestral. Realizado por el personal de Censos del INEI en las instalaciones de la Empresa proveedora. Esta actividad es realizada por 16 analistas y un supervisor en el área asignada para tal fin, utilizando la aplicación de control de calidad desarrollada por la Empresa proveedora. A cada analista se le asigna automáticamente la muestra de cédulas censales por cada lote de trabajo (estos lotes corresponden a los lotes de la Empresa proveedora; es decir, son los lotes divididos para fines de escaneo). En el caso normal la muestra corresponde al 2% de cédulas censales que contiene el lote de trabajo. Sin embargo, cuando la línea de producción de escaneo proporcionaba pocos lotes de trabajo, la muestra seleccionada era mayor a pedido del supervisor. Si el analista encuentra más de 4 diferencias entre los datos reconocidos en el escaneo y los datos de la cédula censal, rechaza el lote de trabajo y devuelve el lote al proceso de

| Informe Final 7

validación de la Empresa proveedora. Los lotes de trabajo aceptados están disponibles para la exportación de datos.

Exportación de Datos. Realizado por el personal de OFICINA TÉCNICA DE INFORMÁTICA del INEI en las instalaciones de la empresa proveedora. Los archivos de datos de los lotes de trabajo aceptados por el control de calidad muestral se transfieren desde las instalaciones de la Empresa proveedora a la sede central del INEI utilizando procedimientos automáticos de transferencia de datos. Los archivos de datos transferidos se cargan a la base de datos correspondiente.

9.3.5 Consistencia Básica

Cobertura. El proceso de Cobertura es realizado por el personal de Consistencia del INEI. El supervisor de cobertura asigna a los analistas de cobertura la carga de trabajo, correspondiente al día, en el Sistema de Cobertura. El analista de cobertura realiza la corrección de los datos correspondiente a la cobertura geográfica, detectados automáticamente por el Sistema en la aplicación de las reglas de cobertura definidas previamente. El supervisor verifica los lotes de trabajo finalizados por los analistas y realiza la aceptación de los lotes de trabajo. Estos lotes están disponibles para continuar con el proceso de estructura.

Estructura. El proceso de Estructura es realizado por el personal de la OFICINA TÉCNICA DE INFORMÁTICA del INEI. El operador de procesos utiliza la aplicación de estructura desarrollada en CSPro que realiza la composición de la unidad agropecuaria a partir de las cédulas censales que la componen; además de reenumerar las parcelas y el orden de los cultivos,

Consistencia Básica. La consistencia básica es realizada por el personal de Consistencia y OFICINA TÉCNICA DE INFORMÁTICA en conjunto. El analista de consistencia define un conjunto de reglas de flujo, valores por defecto, etc. que se aplican a la base de datos. El programador de OFICINA TÉCNICA DE INFORMÁTICA implementa e incorpora estas reglas en la aplicación de consistencia básica. Los operadores de proceso ejecutan la aplicación de consistencia básica, y el analista de consistencia verifica el resultado obtenido.

9.3.6 Codificación

El proceso de codificación es realizado por los analistas de codificación de Censos y los operadores de procesos de OFICINA TÉCNICA DE INFORMÁTICA del INEI utilizando el Sistema de Codificación Automática y Asistida. Previamente los textos de las preguntas a codificar se copian desde la base de datos inicial a la base de datos del Sistema de Codificación.

Codificación Automática. El operador de procesos realiza la codificación de los textos por pregunta y por distrito de acuerdo a un orden de prioridad definido según las necesidades de procesamiento. En la codificación automática el Sistema compara los textos con las palabras registradas en las tablas maestras y auxiliares. En la comparación por igualdad los criterios utilizados son: igualdad de texto, igualdad de orden, igualdad de posición de las palabras del texto a codificar. En la comparación por semejanza los criterios utilizados son: texto similar, orden igual, posición diferente; texto similar, orden diferente, posición diferente, en palabra principal o alias. En esta etapa se espera que la mayor parte de los textos sean codificados. Los textos no codificados pasan a la etapa de codificación asistida.

Codificación Asistida El supervisor asigna a cada analista la carga de trabajo correspondiente en el Sistema de Codificación. El analista realiza la codificación asistida mediante frecuencia y uno a uno. En esta etapa todos los textos son codificados. Finalizada la codificación de las preguntas en todos los distritos, los códigos se incorporan a la base de datos principal con el objetivo de que todos los textos estén acompañados de sus códigos para facilitar el análisis posterior de estas preguntas.

9.3.7 Consistencia e Imputación

La consistencia e imputación es realizada por el personal de Consistencia y OFICINA TÉCNICA DE INFORMÁTICA en conjunto. El analista de consistencia define un conjunto de reglas de consistencia e imputación que se aplican a la base de datos. El programador de OFICINA TÉCNICA DE INFORMÁTICA implementa e incorpora estas reglas en la aplicación de consistencia e imputación. Los operadores de proceso ejecutan la aplicación de consistencia e imputación, y el analista de consistencia verifica el resultado obtenido.

Para facilitar el trabajo de los operadores de procesos se implementó la aplicación de procesos para procesamiento de datos que consolida en una sola aplicación todos los procesos

Codificación Automática

por igualdad

Comparar tablas auxiliares (*) en data: Palabra vs palabra y que cumpla con:

- Igual texto(sonido) (**) - Igual orden

- Igual posición

Codificación Automática por

Semejanza


- Similar texto(completa u ocurrencia) - Igual orden - Diferente posición


- Similar texto(completa u ocurrencia) - Diferenteorden

- Diferente posición

Comparar tablas auxiliares (*) en data: Cadena de alias vs cadena de palabras y que cumpla con:

- Similar texto(completa u ocurrencia) - Diferenteorden

- Diferente posición

| Informe Final 9

involucrados en el procesamiento de datos. Las opciones disponibles se muestran en el siguiente listado:

1. Cargar Datos de Cobertura 2. Exportar Datos de Estructura 3. Realizar Estructura de Datos 4. Cargar Datos a Estructura 5. Resumen de Registros Cargados en Estructura 6. Exportar Datos de Asignación 7. Realizar Asignación de Datos 8. Cargar de Datos a Asignación 9. Resumen de Registros Cargados en Asignación 10. Realizar Imputación de Datos 11. Cargar Datos a Imputación 12. Resumen de Registros Cargados en Imputación 13. Convertir Datos de Superficie 14. Cargar Datos de Conversión 15. Resumen de Registros Cargados Convertidos 16. Reformatear Datos de conversión 17. Generar Ordenamiento de Datos convertidos.

9.3.8 Recodificación de Variables

Recodificación y/o Construcción de Variables. Con el objetivo de facilitar a los usuarios el análisis de los resultados, se procede a la recodificación y construcción de nuevas variables, con respecto a las variables de la cédula censal. Por ejemplo, se crea la variable WSUP01 Superficie total de las parcelas que conduce o trabaja en el distrito (has) donde cada unidad agropecuaria es clasificada en alguno de los 23 rangos de superficie, según su superficie total en hectáreas. La siguiente tabla muestra las nuevas variables construidas en base a las variables de la cédula censal.

Variable Descripción

WREGION Código de la Región Natural

WPISO Piso Altitudinal

WREDHI Región Hidrográfica

WCUENCA Cuenca

WSUP01 Superficie total de las parcelas o chacras que conduce o trabaja en el distrito (has) 23 rangos

WSUP02 Superficie total de las parcelas o chacras que conduce o trabaja en el distrito (has) 6 rangos

WSUP02A Superficie total de las parcelas o chacras que conduce o trabaja en el distrito (has) 8 rangos

WSUP03 Superficie agrícola o Superficie de tierras de cultivo (has)

Variable Descripción

WSUP03A Superficie agrícola o Superficie de tierras de cultivo (has) bajo riego

WSUP03B Superficie agrícola o Superficie de tierras de cultivo (has) bajo secano

WSUP04 Superficie no agrícola (has)

WSUP05 Otra clase de tierras (has)

WSUP06 Tierras de labranza (has)

WSUP07 Tierras con cultivos transitorios (has)

WSUP08 Tierras en barbecho (has)

WSUP09 Tierras en descanso (has)

WSUP10 Tierras con cultivos permanentes (has)

WSUP11 Pastos cultivados (has)

WSUP12 Cultivos forestales (has)

WSUP13 Tierras con cultivos asociados (has)

WSUP14 Tierras con pastos naturales (has)

WSUP15 Pastos manejados (has)

WSUP16 Pastos no manejados (has)

WSUP17 Tierras con montes y bosques (has)

WSUP18 Superficie cultivada (has)

WP109 Tamaño del hogar

WP111 Sexo del Productor

WP112 Edad del Productor

WP113 Tiene DNI el Productor

WP114 Nivel educativo del Productor

WP115 Idioma o Lengua que aprendió hablar el Productor

WALTITUD Altitud em msnm

WSUP08A Superficie sin cultivo y va a ser sembrada hasta Julio 2013

WSUP08B Superficie sin cultivo y NO va a ser sembrada hasta Julio 2013

WSUP19 Superficie sembrada de cultivos transitorios

| Informe Final 11

9.3.9 Tabulación

Generación de Cuadros Estadísticos. La generación de cuadros estadísticos es realizada por el personal de OFICINA TÉCNICA DE INFORMÁTICA. Los 154 cuadros generados están basados en el Plan de Tabulados definido previamente. Se utiliza el software IMPS. La relación de los 154 cuadros estadísticos generados se muestra en el Anexo 10.

9.3.10 Generación de Productos

A partir de la base de datos de los resultados definitivos del IV Censo Nacional Agropecuario se generan los siguientes productos:

Sistema de consulta de Cuadros Estadísticos

Microdatos en Base de datos Redatam

Microdatos en Base de datos SPSS

Directorio de Productores Agropecuarios

Marco de unidades agropecuarias

9.4 Personal Participante

En el procesamiento de datos de la cédula censal realizado por OFICINA TÉCNICA DE INFORMÁTICA, participaron las siguientes personas según su especialidad:

Nombre Cargo

Jimmy Velásquez Dávila Administrador de Base de Datos

José Carlos Gallardo Administrador de Base de Datos

Freddy Huali Veliz Analista Programador

Luis Soldevilla Curipaco Analista Programador

Elmer Pérez Espinoza Analista Programador

Leoncio Torrejón Herrera Analista Programador

Jannet Martinez Padilla Analista Programador

Isabel Aponte Ochante Analista Programador

José Llanos Solórzano Analista Programador

Gonzalo Anchante Hurtado Programador Web

Martha Rodriguez

Ana Fiestas

9.5 Software y Equipos

Plataforma Tecnológica

Tipo Software

Sistema Operativo del Servidor Linux

Servidor de Aplicaciones / Contenedor Web JBoss 6, Tomcat 6.0

Motor de Base de Datos Relacional SQL Server 2008

Lenguaje de Programación de Aplicaciones Web Java

Scripts Java script

Entorno de Desarrollo Integrado Spring Source Tool Suite 2.7.1

Control de Versiones Subversion

Gestión de librerías Maven

Pruebas unitarias Junit 4.1

Framework Spring 3.0.6

Mapeo (ORM) JPA 2.0

Persistencia Hibernate 3.6.8

Interfaz de usuario JQuery

Arquitectura de Sistema

| Informe Final 13

9.6 Sistemas

Una de las características principales de la arquitectura propuesta para el proyecto CENEAGRO es

que la autenticación y autorización de usuarios se realiza en forma centralizada a través de los

servicios que proporciona el Sistema de Seguridad. Por lo tanto, en principio todos los sistemas

desarrollados estarán integrados con el Sistema de Seguridad a través de estos servicios.

Por otro lado, todos los funcionarios censales que participaron en el CENAGRO están registrados en

el Sistema de Gestión de Funcionarios Censales, muchos de los cuales utilizarán los sistemas del IV

CENAGRO para lo cual se requiere que estén registrados como usuarios en el Sistema de Seguridad.

Adicionalmente, el Sistema de Monitoreo y Seguimiento de Procesos obtiene datos de los diferentes

sistemas para proporcionar información a nivel estratégico y táctico de los avances en las diferentes

actividades ejecutadas.

A continuación se describe en detalle los puntos de integración entre los sistemas de apoyo.

9.6.1 Sistema de Seguridad

El Sistema de Seguridad tiene como objetivo proporcionar servicios centralizados de

autenticación y autorización a todos los sistemas del proyecto IV CENAGRO.

El Sistema de Seguridad tiene dos partes principales: los servicios de autenticación y

autorización, y el módulo de administración que permite gestionar los sistemas, los menús de

los sistemas, los perfiles de los sistemas, y los usuarios de los sistemas.

Software de desarrollo: Java

Base de datos: Sql2008

9.6.2 Sistema de Gestión de Funcionarios Censales

El Sistema de Gestión de Funcionarios Censales tiene como objetivo gestionar el proceso de

convocatoria, preselección, capacitación y selección del personal requerido para las diversas

etapas de ejecución del censo. Asimismo permite el seguimiento de la asignación del trabajo

de campo y el pago correspondiente.



9.6.3 Sistema de Monitoreo y Seguimiento de Procesos

El Sistema de Monitoreo y Seguimiento de Procesos Censales tiene como objetivo realizar el

monitoreo y seguimiento a todos los niveles geográficos y censales sobre el estado de avance y

retraso de las diversas actividades y proporciona indicadores a fin de tomar acciones

correctivas.

Las actividades censales que se ejecutan en el marco del proyecto IV CENAGRO son

monitoreadas y controladas mediante el Sistema de Gestión de Procesos Censales. Para lograr

este objetivo, los sistemas que gestionan las actividades censales proporcionan los datos del

avance de las actividades realizadas.



9.6.4 Sistema de Registro y Control de Documentos

El Sistema de Registro y Control de Documentos tiene como objetivo registrar la distribución y

recepción de los diversos documentos censales en todas las etapas del proceso censal y

proporcionar información que permite conocer el flujo de los documentos censales como

formularios, planos, croquis, equipos entre otros.



9.6.5 Sistema de Tablas Estandarizadas

El Sistema de Tablas Estandarizadas tiene como objetivo gestionar la actualización y

mantenimiento de las tablas de uso general de las diferentes etapas del IV CENAGRO. Entre

estas tablas se encuentran las tablas maestras utilizadas para el proceso de codificación, las

tablas de ubicación geográfica, etc.



9.6.6 Sistema de Codificación

El Sistema de Codificación tiene como objetivo asignar un código a las respuestas de las

preguntas con respuestas abiertas como cultivos, árboles frutales entre otros. Posteriormente

los códigos asignados se utilizan en tabulaciones y frecuencias.



9.6.7 Intranet CENAGRO

La Intranet del CENAGRO tiene como objetivo proporcionar acceso a toda la información

necesaria para el operativo censal, siendo así el medio que permitirá la integración de los

diversos procesos censales. Asimismo, proporciona acceso a los sistemas a utilizarse.



9.6.8 Sistema de Control de Calidad de Datos Escaneados

El Sistema de Control de Calidad de Datos Escaneados tiene como objetivo la validación de los

datos escaneados asegurando su cobertura y calidad. Proporciona al Sistema de Monitoreo y

Seguimiento de Procesos las estadísticas del resultado del proceso de tal forma que se pueda

saber el número de unidades agropecuarias en proceso, el número de errores encontrados en

estas, y otras estadísticas de interés.

Software de desarrollo: CSPRO

Archivo de datos formato ASCII

9.6.9 Sistema de Cobertura

El Sistema de Cobertura tiene como objetivo la validación de la cobertura geográfica de los

datos escaneados. La cobertura comprende la validación de las variables de identificación para

asegurar que todos los registros sean parte de una SEA; las SEAs sean parte de una sección; las

secciones sean parte de un distrito y así sucesivamente. Además comprende la validación de la

| Informe Final 15

completitud del número de registros en cada una de las divisiones en que se organiza el

registro.

Software de desarrollo: ASP


9.6.10 Sistema de Estructura

El Sistema de Estructura tiene como objetivo la composición de la unidad agropecuaria a partir

de las cédulas censales que la componen. La estructura comprende la validación de los valores

de los registros de tal forma que todos tengan datos correctos, no estén repetidos, etc.



9.6.11 Sistema de Consistencia e Imputación de Datos

El Sistema de Consistencia de Datos tiene como objetivo asegurar la consistencia de datos

mediante la ejecución de un conjunto de reglas de validación que se aplican a los datos

escaneados. Además permite la corrección de los registros en grupo o individualmente.



9.7 Cronograma

Cronograma de ejecución de las tareas del Procesamiento de Datos.

Actividad Inicio Fin

1 Recepción, Inventario y Control de Documentos Nov-12 Dic-12

2 Captura de Datos Ene-13 Abr-13

3 Control de Calidad de la Lectura y Reconocimiento Feb-13 Abr-13

4 Control de Calidad Muestral Mar-13 Abr-13

5 Consistencia Básica May-13 May-13

6 Codificación May-13 May-13

7 Consistencia e Imputación May-13 Jun-13

8 Recodificación de Variables Jul-13 Jul-13

9 Tabulación Jul-13 Jul-13

10 Generación de Productos Jul-13 Ago-13

9.8 Problemas y Soluciones

Los desarrolladores de la Empresa proveedora que implementó los procedimientos de consistencia de datos y exportación de datos no fueron los mismos que iniciaron estos temas para el Censo Experimental. Los desarrolladores de OFICINA TÉCNICA DE INFORMÁTICA del INEI tuvieron que realizar un acompañamiento en las instalaciones de la empresa para explicar nuevamente a los nuevos desarrolladores de la Empresa los procedimientos a implementar. Esto implicó tiempo y esfuerzo por parte del INEI

En la ejecución de las diferentes etapas del procesamiento de datos fue necesario cambiar de formato de datos; es decir, exportar la base de datos a archivo de texto o viceversa porque la implementación de los procedimientos lo requería así. Para esto se implementó procedimientos de extracción y carga de datos entre los diferentes formatos.

Ciertos datos de los lotes de trabajo entregados por la empresa proveedora no cumplían con las especificaciones de tipo de dato o rango; por lo que se implementó un proceso adicional de corrección de datos para lo cual se implementaron los procedimientos para la detección de dichos errores y se contó con la participación de 15 personas que realizaron la tarea de corrección mediante el sistema desarrollado para tal fin.

Se encontraron diferencias en el número de cédulas censales inventariadas por el INEI y entregadas por la Empresa proveedora. Se determinó que las diferencias mayores a 5 se vuelvan a contabilizar físicamente entre la Empresa y el INEI, obteniendo resultados positivos en la mayoría de casos. Aun así el procedimiento fue difícil porque el material censal no estaba almacenado en un orden específico por lo que no fue rápida la localización de las cédulas censales.

El proceso de cobertura tuvo problemas al inicio del proceso al no contarse con la totalidad de las imágenes de las cédulas escaneadas. Se reforzó la coordinación con la Empresa proveedora para que proporcione las imágenes faltantes en el momento adecuado.

En el proceso de consistencia el tiempo de procesamiento de datos se incrementó por la cantidad de datos a procesar. Se tomó la decisión de realizar la partición física de las tablas (como en los procesos anteriores) lo cual mejoró los tiempos de procesamiento.

9.9 Indicadores

9.9.1 De Cobertura Geográfica y Temática Cobertura Geográfica

CCDD DEPARTAMENTO TOTAL

DISTRITOS

INVENTARIO UDRA DATOS

ENTREGADOS POR EMPRESA

COBERTURA

SEAs Nro. Cédulas SEAs Nro. Cédulas SEAs Nro. Cédulas

TOTAL 1800 38048 2465346 38048 2465215 38156 2463946

01 Amazonas 84 652 71103 652 71024 652 70905

02 Áncash 165 5411 192453 5411 192643 5411 192601

03 Apurímac 80 1773 89032 1773 89208 1773 89085

04 Arequipa 105 1547 64943 1547 64897 1547 64888

05 Ayacucho 112 2247 129064 2247 129031 2247 128980

06 Cajamarca 127 4863 348690 4863 348670 4905 348547

07 Callao 2 3 3095 3 3096 3 3096

08 Cusco 107 2760 197791 2760 197988 2800 197819

09 Huancavelica 95 1292 83932 1292 83935 1292 83880

10 Huánuco 77 1180 109671 1180 109647 1180 109535

11 Ica 43 506 32982 506 32969 506 32969

12 Junín 122 1413 147169 1413 147308 1437 147305

13 La Libertad 81 3076 134708 3076 134644 3076 134638

14 Lambayeque 37 924 61533 924 61533 924 61482

15 Lima 151 1098 83683 1098 83908 1098 83886

16 Loreto 51 784 70965 784 70872 785 70827

17 Madre de Dios 11 115 7154 115 7146 115 7146

18 Moquegua 20 226 17415 226 17444 226 17439

19 Pasco 29 440 35277 440 35275 440 35240

20 Piura 60 2595 149655 2595 149038 2595 148990

21 Puno 109 3381 281889 3381 281982 3382 281791

22 San Martín 77 1048 94049 1048 93949 1048 93894

23 Tacna 27 211 24898 211 24849 211 24848

24 Tumbes 13 118 8351 118 8346 118 8346

25 Ucayali 15 385 25844 385 25813 385 25809

| Informe Final 17

CCDD DEPARTAMENTO TOTAL

DISTRITOS

CODIFICACION ESTRUCTURA CONSISTENCIA

FINAL AUTOMATICA ASISTIDA

SEAs Nro. Cédulas SEAs Nro. Cédulas SEAs Nro. UA SEAs Nro. UA

TOTAL 1800 38156 2463946 38156 2477658 38118 2312107 38118 2315613

01 Amazonas 84 652 70905 652 71019 652 69649 652 69811

02 Áncash 165 5411 192601 5411 192654 5411 174960 5411 175070

03 Apurímac 80 1773 89085 1773 89118 1773 83897 1773 84276

04 Arequipa 105 1547 64888 1547 64894 1547 58347 1547 58392

05 Ayacucho 112 2247 128980 2247 129130 2247 119537 2247 119762

06 Cajamarca 127 4905 348547 4905 354295 4890 346675 4890 346779

07 Callao 2 3 3096 3 3096 3 3096 3 3096

08 Cusco 107 2800 197819 2800 200981 2787 184664 2787 185129

09 Huancavelica 95 1292 83880 1292 83932 1292 78886 1292 79050

10 Huánuco 77 1180 109535 1180 109350 1180 107559 1180 107633

11 Ica 43 506 32969 506 32969 506 32571 506 32573

12 Junín 122 1437 147305 1437 151439 1430 137210 1430 137406

13 La Libertad 81 3076 134638 3076 134644 3076 130157 3076 130181

14 Lambayeque 37 924 61482 924 61533 922 61204 922 61229

15 Lima 151 1098 83886 1098 83908 1098 79086 1098 79191

16 Loreto 51 785 70827 785 70872 785 70823 785 71234

17 Madre de Dios 11 115 7146 115 7146 115 7141 115 7163

18 Moquegua 20 226 17439 226 17444 226 14987 226 15039

19 Pasco 29 440 35240 440 35275 440 32850 440 33012

20 Piura 60 2595 148990 2595 149037 2595 145828 2595 145890

21 Puno 109 3382 281791 3382 281964 3381 222261 3381 222754

22 San Martín 77 1048 93894 1048 93948 1048 93823 1048 93846

23 Tacna 27 211 24848 211 24849 211 22805 211 22820

24 Tumbes 13 118 8346 118 8346 118 8299 118 8299

25 Ucayali 15 385 25809 385 25815 385 25792 385 25978

Cobertura Temática

Capítulo Total U.A. Porcentaje

Capítulos I - III 2315613 100.0

Capítulo III 101016 4.4

Capítulo IV (cultivos) 2213506 95.6

Capítulo IV (parcelas) 2213506 95.6

Capítulo IV (superficie) 679086 29.3

Capítulo V 1774033 76.6

Capítulos VI - VIII 2260973 97.6

Capítulo IX 1757833 75.9

Capítulos X - XV 2260973 97.6

Capítulo XVI1 2246702 97.0

Capítulo XVI2 2246702 97.0

Capítulo Observaciones 2311945 99.8

9.10 Calidad de Datos

A continuación se muestra la estadística para la pregunta P016. Las estadísticas para todas las preguntas aparecen en el Anexo 11.

Cobertura Estructura Imputación

Pregunta Categoría Total % Total % Total %

P016 00 1 0.0 0 0.0 0 0.0

P016 01 Persona natural 2254534 91.5 2246702 97.1 2246702 97.0

P016 02 Sociedad anónima cerrada SAC 1756 0.1 1892 0.1 1892 0.1

P016 03 Sociedad anónima abierta SAA 478 0.0 459 0.0 459 0.0

P016 04 Sociedad de responsabilidad limitada SRL 301 0.0 284 0.0 284 0.0

P016 05

Empresa Individual de responsabilidad

limitada EIRL 389 0.0 345 0.0 345 0.0

P016 06 Cooperativa agraria 96 0.0 93 0.0 92 0.0

P016 07 Comunidad campesina 3772 0.2 5505 0.2 6277 0.3

P016 08 Comunidad nativa 378 0.0 1090 0.0 1322 0.1

P016 09 Otra 3865 0.2 3607 0.2 3610 0.2

P016 1 36 0.0 0 0.0 0 0.0

P016 9 1 0.0 0 0.0 0 0.0

P016 Blanco 199472 8.1 54620 2.4 54630 2.4

P016 Nulo 5 0.0 0 0.0 0 0.0

9.11 Productos obtenidos

A partir de la base de datos de los resultados definitivos del IV Censo Nacional Agropecuario se generan los siguientes productos:

Sistema de Consulta de Cuadros Estadísticos

Microdatos en Base de datos Redatam

Microdatos en Base de datos SPSS

Directorio de Productores Agropecuarios

Marco de áreas de la Unidades Agropecurarias

| Informe Final 19

9.11.1 Sistema de consulta de Cuadros Estadísticos

Los cuadros estadísticos son de acceso local y público a través de sistemas de consulta monousuario y Web que para tal fin se ha implementando

9.11.2 Microdatos en Base de Datos REDATAM

Redatam es el acrónimo de REcuperación de DATos para Áreas pequeñas por Microcomputador. Es un software para procesar y mapear datos de censos y encuestas para análisis local y regional. Consta de los siguientes módulos: Process (incluye la administración de bases de datos), Create (creación de bases de datos), XPlan (para el desarrollo de las aplicaciones en R+SP del usuario final). Para el IV CENAGRO se creó la base de datos REDATAM nacional lo cual permitirá a los usuarios finales el análisis de la información a niveles desagregados como distrito y SEA. También está prevista la capacitación sobre el uso de esta aplicación en las dependencias a nivel nacional.

El acceso a la base de datos REDATAM IV CENAGRO es de acceso local y público a través del aplicativo XPLAN y del aplicativo REDATAM WEB respectivamente.

9.11.3 Microdatos en Base de Datos SPSS

La base de datos en formato SPSS contiene los datos completos de los 24 departamentos y la provincia constitucional del Callao. Los datos están organizados en 11 archivos que corresponden a los tipos de registro definidos en el diccionario de datos utilizado para el procesamiento de la cédula censal. En el Anexo 12 se presenta el Diccionario para SPSS.

P R O D U C T O S

Datos

Cartografía Digital

Sistema de Cuadros

Predefinidos

Microdatos Redatam

Base de Datos

SPSS

Directorio de Productores

Agropecuarios

Dirección Nacional de Censos y Encuestas Lima, Agosto de … · 2013-09-26 · cédulas impresas a...

Documents

Transcript of Dirección Nacional de Censos y Encuestas Lima, Agosto de … · 2013-09-26 · cédulas impresas a...