La evaluación de IDE de IDERA¶

Propuesta de mejoras¶

Luego de todo el proceso referido, se observa que, pese a no presentarlo en forma explícita, la propuesta original de evaluación de IDE de IDERA tiene un sustento teórico bastante sólido y presenta una serie de elementos valiosos que dan lugar a proponer la introducción de mejoras para avanzar hacia su efectiva implementación.

Ello surge de analizar la primera versión de la evaluación de IDERA en conjunto con el seguimiento y monitoreo de las IDE y la experiencia piloto de evaluación, a la luz de los distintos casos de estudio investigados en el estado del arte del presente trabajo. Así, en la evaluación de la PSDI, de eSDI-Net+, de GIDEON, de INSPIRE y de la IDEC se aplica un análisis multicriterio y un esquema similar al de indicadores, categorías y temas propuesto por IDERA, para arribar a un resultado global correspondiente a cada IDE.

A su vez, IDERA también coincide con INSPIRE en la idea general de dar cuenta del grado de cumplimiento de las IDE de los estándares publicados y en el informe anual (denominado tarjeta de identificación de la IDE por INSPIRE).

El criterio general de la presente propuesta es, entonces, incidir positivamente sobre las oportunidades identificadas en la sección anterior. En tal sentido, se busca que la evaluación de IDE de IDERA contemple todas las acciones de una IDE en sus elementos básicos, siguiendo las definiciones de dichos conceptos desarrolladas en el marco teórico del presente trabajo.

Para ello, en primer lugar, se da cuenta de una serie de condiciones previas que permiten llevar adelante una mejor evaluación de las IDE, tales como el logro de acuerdos sólidos entre los actores, el fortalecimiento del equipo de apoyo de la Coordinación Ejecutiva de IDERA y el desarrollo y publicación de estándares, recomendaciones, instructivos y otra documentación relevante por parte de IDERA.

En segundo término, se desarrolla la propuesta de modificación de los indicadores de la evaluación de IDE de IDERA, eliminando algunos, mejorando conceptualmente otros y estableciendo un esquema diferenciado según se trate de una IDE de máxima jerarquía responsable de la producción de Datos Básicos y Fundamentales o no.

Finalmente, se realizan una serie de sugerencias que hacen al proceso de la evaluación de IDE de IDERA, abarcando cuestiones tales como la automatización en el relevamiento de información, el informe anual, el rol de los revisores de las evaluaciones, el informe de seguimiento, las capacitaciones, la autoevaluación y la meta evaluación.

Todo ello, teniendo siempre como objetivos centrales facilitar la implementación de la evaluación de IDE, garantizar su continuidad a lo largo del tiempo y promover la mejora permanente del propio proceso de evaluación, cubriendo las necesidades de IDERA de seguimiento de las IDE y fomentando la evolución de las mismas IDE.

Condiciones previas que permiten una mejor evaluación de IDE¶

En tanto comunidad, IDERA necesita del compromiso real del conjunto de los actores que la integran, en términos de evaluación y de cumplimiento de los estándares definidos por la misma comunidad. En tal sentido, se trata de aprovechar mejor la información que surja de la evaluación para ayudar a los organismos a cumplir con los estándares o para modificar dichos estándares, adaptándolos a lo que resulta factible de cumplirse en la realidad actual de nuestro país.

La participación de los diferentes actores en IDERA, por más que esté enmarcada en instituciones u organismos a los cuales pertenecen sus representantes, toma la forma de trabajo voluntario.

Ello implica, como falencia, la imposibilidad de asignar plazos y obligatoriedad de la realización de las tareas. Motivo por el cual, las actividades técnicas de mayor carga de tiempo y trabajo, deberían ser llevadas a cabo por personal rentado para tal fin (dependiente de la Coordinación Ejecutiva de IDERA). La aplicación de la evaluación de IDE, luego, debería ser revisada por el Equipo Coordinador durante sus reuniones, a fin de ser validada y publicada, en un proceso más transparente y eficiente.

Otra de las grandes trabas para el proceso es la falta de publicación de algunos documentos e instructivos que hagan posible la implementación de todas las recomendaciones por parte de las IDE, así como también la evaluación. Dichos documentos son:

Procedimiento para la evaluación de una IDE de máxima jerarquía: documento con el detalle del procedimiento que incluya la lógica del mismo y los pasos a seguir para su implementación.
Esquema de Evaluación de IDE: detalle de los indicadores, con la referencia a los documentos de IDERA con las respectivas recomendaciones y estándares y con la explicación de la forma en que se evalúa cada uno de ellos.
Recomendaciones para el contenido del Geoportal de una IDE de máxima jerarquía: listado de los elementos que no pueden faltar en el sitio web de una IDE.
Contenidos Mínimos para la presentación del Informe Anual de las IDE de máxima jerarquía: lista de información que se solicita a cada IDE todos los años y formulario disponible para ser completado (ver propuesta de implementación).
Detalle de los responsables de la producción y la publicación de cada DByF: listado para la implementación de la evaluación y/o para que los usuarios tengan conocimiento de quiénes son los productores oficiales de los datos base del país.
Documento Ampliatorio sobre los DByF: estándar de la calidad del dato que deben publicar sus responsables (más allá de la definición del objeto), para posibilitar su análisis y evaluación.
Modificación del Documento de Normalización de Capas para Servicios OGC: que estipule que en el Catálogo de Metadatos las capas deben tener nombres equivalentes a los títulos en el WMS y a los del Catálogo de Objetos. Con la única excepción, de que, en el Catálogo de Metadatos, además, se incluya la jurisdicción, por ejemplo, Parcelas de La Pampa, donde Parcelas es el nombre del Catálogo de Objetos, pero en el metadato se agrega la provincia o ciudad para permitir la cosecha en otros catálogos, como el de IDERA, que incluyen parcelas de otros territorios.

Siendo que la evaluación se basa en los estándares y recomendaciones publicados por IDERA, se sugiere la mejora de dicha publicación de una manera más ordenada que permita a las IDE encontrar, además de todas las recomendaciones documentadas que establecen estándares de los indicadores, los instructivos y/o recursos para implementarlos.

De este modo, se aborda el problema desde dos soluciones complementarias: por un lado, las mejoras en el sitio web, como son una página interactiva de búsqueda de recomendaciones, instructivos y soluciones IDE, que permita encontrar todo más fácilmente y una sección con la metodología de evaluación, uniendo la forma de llegar a una autoevaluación y la posibilidad de encontrar todo el procedimiento y sus herramientas en un sólo lugar.

Por otra parte, se propone la consolidación de los estándares y recomendaciones de IDERA en un documento resumen que haga referencia (con los enlaces) al resto de los documentos existentes, de manera que exista un verdadero manual de IDE que visibilice lo logrado por los grupos de trabajo de IDERA.

Adicionalmente, se recomienda incorporar en el documento de procedimiento de la evaluación de IDE de IDERA la consolidación de los estándares y recomendaciones y enlazar a los documentos específicos correspondientes.

Revisión de los Indicadores¶

Para el proceso de evaluación en sí misma, la primera versión de la evaluación de IDE de IDERA contaba con una serie de indicadores que permitían calificar el cumplimiento de los estándares y recomendaciones de cada una de las categorías estipuladas con la intención de que todas las acciones de una IDE se encuentren cubiertas. Pero en la práctica algunos de estos indicadores no resultaron del todo adecuados para la tarea, por lo que se plantea una serie de cambios para mejorar el esquema en ese sentido.

Para el tema Institucional se sugiere introducir las siguientes revisiones:

Especificar, en la metodología de evaluación para la descentralización de las IDE, en la forma de asignar la calificación que en los metadatos o en el abstract del geoservicio se debe indicar el autor (nombre u organismo) distinto de la IDE central, a fin de conocer el grado de descentralización de la IDE.

Para el tema Publicación y Geoservicios se recomienda:

Especificar qué contenidos mínimos debe tener el geoportal y el visor de mapas en una hoja del esquema de evaluación con una ponderación equitativa entre todos los elementos para poder calcular cuál sería el puntaje de la variable de manera clara.
Aclarar en el método de evaluación, en la variable sobre peticiones básicas del WMS, que al observar las capacidades del servicio (GetCapabilities) debe tener habilitado el GetMap, ya que no estaba claro cómo observarlo.
Aclarar, para el caso del GetFeatureInfo, que las capas deben estar habilitadas para consulta (QueryAble).
Quitar la variable de SLD, dado que no hay una metodología de evaluación ni existe una recomendación de IDERA publicada sobre ella. Aunque sería muy importante que IDERA avanzara en su desarrollo.
Modificar la metodología de análisis de la Salud del Servicio, especificando cómo se debería analizar la disponibilidad del servicio WMS a través de una herramienta. Mencionar en el anexo del documento de procedimiento de evaluación que al publicar geoservicios las IDE deben comprometerse a que sus servidores estén siempre activos y disponibles para que el acceso a ellos sea posible de manera permanente.
Establecer que el chequeo sea al menos en dos momentos distintos del día para que la muestra sea representativa, consolidando dichos datos sobre el seguimiento de los servidores en forma anual o semestral. Sugerir la utilización de GeoHealthCheck como herramienta de software libre y de código abierto que permite a IDERA monitorear el estado de los geoservicios, entre otros chequeos.
Aclarar, en el caso del WFS, que las operaciones que deben estar habilitadas son GetFeature y DescribeFeatureType.
Eliminar la variable de un servicio WFS por separado para los DByF. La Categoría queda así dividida en dos indicadores: el funcionamiento del servicio con las operaciones básicas y la difusión del mismo con la publicación de la URL en el geoportal con su correspondiente licencia de uso.
Reescribir la variable de CSW, quitando la necesidad de un servicio CSW filtrando únicamente los DByF e incorporando el documento de configuración de CSW publicado por IDERA.
Evaluar, para el servicio CSW, la cantidad de capas visibles en el visualizador y la cantidad de capas con metadato accesibles a través de dicho servicio. Para ello, es posible consultar los registros completos al servicio en formato Lenguaje de Marcado Extensible (XML) y luego compararlos con la lista de capas obtenida de la misma forma desde el servicio WMS.
Adaptar el indicador de Datos Abiertos para tener en cuenta las distintas formas de hacer disponible la información y posibilitar su descarga, dado que la única recomendación existente en la materia es que los DByF se publiquen como WFS. Establecer para este indicador un cuarto del puntaje máximo por cada una de las siguientes condiciones que se cumpla: link al servicio WFS publicado, descarga de archivos individuales, descarga masiva de archivos, licencia especificada en el recurso de manera que al descargarlo se incluya la información legal sobre su uso. Dicha información es crucial para que la comunidad usuaria de los datos pueda hacer un adecuado uso.

Para el tema de Información Geoespacial se considera:

Dividir el indicador para poder establecer si los DByF se encuentran publicados para visualización, para descarga y acorde al catálogo.
La publicación para la descarga reemplaza al indicador que estaba antes en WFS. Incorporar la lista de DByF al esquema de evaluación para analizar estos tres indicadores de acuerdo a lo que corresponda al organismo publicar y al porcentaje de dichas capas efectivamente publicado.
Incorporar la necesidad de explicitar las restricciones legales de uso de los datos para las capas de DByF a fin de evitar el uso o la modificación inadecuados de los datos.
Describir con mayor precisión el método de evaluación de la concordancia de los DByF con el catálogo.
Agregar, en el indicador de la categoría de Datos Temáticos, la posibilidad de que el dato no exista en el catálogo de objetos geográficos de IDERA, pero esté catalogado en un catálogo propio o esté adaptado para su interoperabilidad, dado que no todas las IDE utilizan estrictamente el catálogo de objetos de IDERA.
Reescribir, en cuanto al linaje, la metodología de evaluación, aclarando los elementos necesarios (origen y metodología de producción de los datos).

Para el tema de Metadatos resulta conveniente:

Eliminar la categoría de validación. Ello obedece a que no es posible evaluar cada metadato validando a través de un Catálogo de Metadatos y, dentro del contenido, la fecha de actualización del metadato, dado que la edición periódica de los metadatos no provee información valiosa a la evaluación.

Vale aclarar que la propuesta de temas, categorías e indicadores precedente es de plena aplicación, únicamente, para las IDE productoras de DByF. Para el resto de las IDE de máxima jerarquía se propone no considerar la categoría “datos básicos y fundamentales publicados”, que incluye los indicadores: “publicación para visualización”, “publicados para descarga” y “acorde al catálogo de objetos”, lo que implica aplicar una mayor ponderación al resto de las categorías e indicadores del tema “información geoespacial”.

Cuadro 5 - Comparación del peso de los indicadores entre IDE Productora de DByF e IDE Productora de Datos Temáticos únicamente

		IDE Productora de DByF	IDE Productora de Datos Temáticos
Categoría	Indicadores	Peso categoría	Peso categoría
DByF publicados	Publicados para visualización Publicados para descarga Acorde a Catálogo de Datos	50%
Datos Temáticos Publicados	Catálogo de Objetos Geográficos de IDERA	10%	40%
Linaje completo en Metadatos	Perfil de metadatos	10%	20%
Normalización de Nombres de capas	Nombre sin caracteres especiales Título de acuerdo a catálogo 1 capa = 1 objeto del catálogo	30%	30%

Cuadro 6 - Indicadores modificados del tema Institucionalidad

Categoría	Indicador	Documento publicado	Método de evaluación	Calificación	Peso categoría	Peso tema
Adhesión a IDERA	Fecha de adhesión	Adhesión a IDERA	Según registros de IDERA			10%
Informe Anual	Contenidos mínimos para la presentación del informe anual de las IDE de máxima jerarquía	PENDIENTE	Si cumple con el contenido mínimo puede evaluarse
Norma	decreto publicado en IDERA	Recomendaciones para la creación de un nodo IDE de máxima jerarquía	Según registros de IDERA y/o Geoportal, punto 9 del documento de recomendaciones	Norma publicada: Sí/No	40%
Descentralización de la producción y publicación de la información	Publicación desde los productores de información	Descripción De Datos Básicos y Fundamentales Recomendaciones para la creación de un nodo IDE de máxima jerarquía	Cada capa debe tener identificado su autor y la URL del geoservicio original, del productor responsable o designado para la producción y la publicación de la información. En el caso que el catálogo de metadatos sea descentralizado, los metadatos estarán cosechados del original. En base a puntos 12 y 16 del documento de Recomendaciones para la conformación de un nodo IDE de máxima jerarquía. De acuerdo a las recomendaciones establecidas, en caso de centralizar la información de otros organismos (nodos), se deberá especificar el origen de la información en el metadato, tanto en el linaje como en el contacto del productor de la información	En los casos en los que corresponda: - Si la información está en el metadato y si muestra al creador de los datos distinto del publicador: 100% - Si la información está en el "abstract" del servicio que muestre de que está descentralizado: 50% - Si no está publicada o no está descentralizado: 0% Adicionalmente debe estar especificado en el geoportal que nodos existen y cuáles son sus recursos disponibles	60%

Cuadro 7 - Indicadores modificados del tema Publicación y Geoservicios

Categoría	Indicadores	Documento publicado	Método de evaluación	Calificación	Peso categoría	Peso tema
Geoportal	Recomendaciones para el contenido del geoportal de una IDE de máxima jerarquía	PENDIENTE	Si se cumplen todos los requisitos obligatorios de contenido	75%	20%	30%
Visualizador	PENDIENTE	Visualizador que funcione, que las herramientas de consulta de objetos devuelvan información y que las capas de nodos fuera de la IDE u otras IDE estén por WMS y no cargadas en el mismo	25%
WMS	GetCapabilities GetMap	Recomendaciones para servicios Web de Mapas	Que la operación GetCapabilities devuelva un XML que tenga habilitada la operación GetMap	15%	15%
WMS'	GetFeatureInfo	Recomendaciones para servicios Web de Mapas	Debe estar habilitado en el GetCapabilities y las capas deben estar consultables (QueryAble)	10%
WMS''	SRS o CRS	Recomendaciones para servicios Web de Mapas	Del GetCapabilities se obtiene la lista de SRS habilitados y se puede comparar con la lista de los recomendados (4326, 3857)	5%
WMS'''	Metadata URL	Recomendaciones para servicios Web de Mapas	Dentro del GetCapabilities en cada detalle de cada capa aparecerá el tag metadata, con la URL del metadato	30%
WMS''''	Configuración del Metadato en el WMS	Recomendaciones para servicios Web de Mapas	El GetCapabilities debe tener cargados los datos de contacto, título y resumen	10%
WMS'''''	Salud del servicio	Debería agregarse en el anexo del documento de procedimiento de evaluación y mencionarse que es uno de los compromisos de las IDE que sus servidores estén siempre activos y disponibles	Anual o el último semestre. Ver que el chequeo sea al menos en dos momentos distintos del día para que la muestra sea representativa. Se recomienda el uso de GeoHealthCheck como herramienta de software libre y de código abierto que permite a IDERA monitorear el estado de los geoservicios, entre otros chequeos	30%
WFS	Funcionamiento	Configuración de Servicio WFS en GeoServer	Que funcione correctamente la visualización y descarga. Que funcionen las dos operaciones básicas GetFeature y DescribeFeatureType	60%	35%
WFS'	Difusión	Configuración de Servicio WFS en GeoServer Lineamientos para el acceso, difusión, uso e interoperabilidad de información geoespacial	La URL del geoservicio debe estar publicada en el geoportal. La licencia de uso tiene que estar explicitada en el resumen del GetCapabilities, o en el metadato del servicio Web o en cada capa que integre el WFS	40%
CSW	Todas las capas	Instructivo de configuración de Servicio CSW en Geonetwork 3.X	Evaluar cantidad de capas visibles en el visualizador y cantidad de capas con metadato en el catálogo. Es posible consultar los registros completos en XML y luego compararlo con la lista de capas obtenida de la misma forma desde el WMS	100%	20%
Datos Abiertos o Descarga Masiva	Todas las capas	PENDIENTE	Link al servicio WFS publicado Descarga de archivos individuales Descarga masiva de archivos Licencia especificada en el recurso	25% 25% 25% 25%	10%

Cuadro 8 - Indicadores modificados del tema Información Geoespacial

Categoría	Indicadores	Documento publicado	Método de evaluación	Calificación	Peso categoría	Peso tema
DByF publicados	Publicados para visualización	Descripción de Datos Básicos y Fundamentales	Fácilmente identificables para el usuario en el visualizador o en el catálogo de metadatos	20%	50%	30%
DByF publicados'	Publicados para descarga	Lineamientos para el acceso, difusión, uso e interoperabilidad de información geoespacial	Licencia abierta explicitada y formato abierto en el metadato de cada capa	45%
DByF publicados''	Acorde a Catálogo de Datos	Descripción de Datos Básicos y Fundamentales	Manual, evaluar nombre de las capas, existencia y coherencia de los atributos con el Catálogo y completitud a nivel geográfico en función del ámbito de actuación del publicador	35%
Datos Temáticos Publicados	Catálogo de Objetos Geográficos de IDERA	Descripción del Catálogo de Objetos Geográficos	Si el dato temático coincide con un objeto del catálogo, debe estar acorde a la estructura del mismo (nombre, atributos). Si no coincide debe estar adaptado a las instrucciones para catalogar objetos contenidas en el Documento del Catálogo	Porcentaje de capas publicadas que cumplen cada recomendación	10%
Linaje completo en Metadatos	Perfil de metadatos	Buenas Prácticas en Metadatos	Debe contener información básica sobre el origen y la metodología de producción del dato identificando datos primarios y secundarios utilizados para su generación. Debe dar información al usuario sobre la calidad del dato	Porcentaje de capas publicadas que cumplen cada recomendación	10%
Normalización de Nombres de capas	Nombre sin caracteres especiales Título de acuerdo a catálogo 1 capa = 1 objeto del catálogo	Normalización de Capas para Servicios OGC	Debe cumplir con las condiciones de la recomendación del documento	Porcentaje de capas publicadas que cumplen cada recomendación	30%

Cuadro 9 - Indicadores modificados del tema Metadatos

Categoría	Indicadores	Documento publicado	Método de evaluación	Calificación	Peso categoría	Peso tema
Contenido	Responsable	Perfil de Metadatos para Datos Vectoriales	Verificar el responsable del dato y el generador de metadato	Porcentaje de acuerdo a la cantidad de capas que cumplen	30%	30%
Contenido'	Metadatos del Servicio en Catálogo de metadatos	Perfil de metadatos para servicios OGC	Metadato creado y con elementos obligatorios completos, no por defecto	Porcentaje de acuerdo a la cantidad de capas que cumplen	20%
Contenido''	Título coincidente con geoservicio y Catálogo de datos	PENDIENTE	Verificar título en WMS, WFS, CSW y Catálogo de objetos	Porcentaje de acuerdo a la cantidad de capas que cumplen	20%
Contenido'''	Link al Recurso	Buenas Prácticas en Metadatos	Comprobar que en el metadato exista un link que permita el acceso al recurso (WMS / WFS, *.shp, etc.)	Porcentaje de acuerdo a la cantidad de capas que cumplen	30%

Fuente: elaboración propia en base al relevamiento realizado por el Instituto Geográfico Nacional

Recomendaciones sobre el proceso de evaluación¶

Para mejorar el proceso de evaluación de IDE de IDERA resultaría conveniente invertir recursos en la creación de herramientas que permitan recolectar los datos necesarios para realizar la evaluación (tanto por parte de IDERA como la autoevaluación desde las propias IDE) de la forma más automatizada posible.

Ello implica generar procesos de recolección de información que, dado su carácter automático, requieran un menor costo en recursos humanos en el mediano plazo y que, además, presenten una interfaz amigable que vuelva más interactivo y atractivo el proceso de evaluación y autoevaluación. En la siguiente sección se muestra un ejemplo de este tipo de proceso de recolección automática de datos.

Se sugiere, al momento de completar el informe anual, incorporar una visita, reunión o entrevista (puede ser a distancia) entre el equipo de apoyo a la Coordinación Ejecutiva de IDERA y el equipo responsable de la IDE, que permita enriquecer la información generada y tener una idea cabal sobre la situación de la IDE, haciendo más fácil esta tarea para la IDE evaluada.

En cuanto al proceso de evaluación en sí mismo, vale recordar la necesidad de que pueda llevarse adelante tanto desde la Coordinación Ejecutiva de IDERA como desde las propias IDE (autoevaluación), de modo tal que las mismas puedan identificar sus problemas y ver la forma de solucionarlos en base a las recomendaciones de IDERA.

Además de su resultado numérico, la evaluación debería documentar los argumentos y pruebas por los cuales se asigna una determinada calificación a cada indicador, lo que resultaría en un informe de certificación de la IDE que puede estar acompañado de sugerencias de mejora.

Una vez que se haya establecido el circuito en el que se evalúe a todas las IDE de máxima jerarquía, debería poder hacerse un informe consolidado que resuma la situación de las IDE de Argentina, que se dé a conocer en las jornadas de IDERA anuales, como así también que se remita a UN-GGIM.

En dichas jornadas anuales y tomando esa presentación del informe consolidado como disparador, se recomienda que se trabaje sobre los desafíos identificados en las evaluaciones para, en función de ello, detectar la necesidad de introducir modificaciones en el proceso de evaluación y en los indicadores aplicados (metaevaluación) y de que los Grupos de Trabajo de IDERA realicen cambios o ampliaciones en los estándares y recomendaciones.

Asimismo, resulta recomendable que las capacitaciones que se desarrollan en las jornadas anuales de IDERA se enfoquen en los resultados de la evaluación de IDE, buscando fortalecer las debilidades encontradas, a través de la colaboración del Grupo de Trabajo de Capacitación.