Cómo desplegar NLP: Ejemplo de reconocimiento de entidades con nombre (NER)

Como parte de nuestra serie de varias entradas sobre el procesamiento de lenguaje natural (NLP), analizaremos un ejemplo utilizando un modelo de NLP de reconocimiento de entidades con nombre (NER) para ubicar y extraer categorías predefinidas de entidades en campos de texto no estructurados. Usando un modelo disponible públicamente, te mostraremos cómo desplegar ese modelo en Elasticsearch, encontrar entidades con nombre en texto con la nueva API de _infer y utilizar el modelo de NER en un pipeline de ingesta para extraer entidades a medida que se ingestan documentos en Elasticsearch.

Los modelos de NER son útiles para utilizar el lenguaje natural a fin de extraer entidades como personas, lugares y organizaciones de campos de texto completos.

En este ejemplo, analizaremos párrafos del libro Los miserables con un modelo de NER y utilizaremos el modelo para extraer los personajes y lugares del texto, así como visualizar las relaciones entre ellos.

Ahora que está listo nuestro cliente docker eland, podemos instalar el modelo de NER ejecutando el comando eland_import_hub_model en la nueva imagen de Docker con el siguiente comando:

Deberás reemplazar ELASTICSEACH_URL por la URL de tu cluster de Elasticsearch. Para fines de autenticación, deberás incluir un nombre de usuario y una contraseña de administrador en la URL con el formato https://username:password@host:port.

Como usamos la opción --start al final del comando eland import, Elasticsearch desplegará el modelo en todos los nodos disponibles de machine learning y cargará el modelo en la memoria. Si tuviéramos varios modelos y quisiéramos seleccionar qué modelo desplegar, podríamos usar la interfaz de usuario Machine Learning > Model Management (Administración de modelos) de Kibana para gestionar el inicio y la detención de los modelos.

Los modelos desplegados pueden evaluarse mediante la nueva API de _infer. La entrada es el texto que queremos analizar. En la solicitud de abajo, text_field es el nombre del campo donde el modelo espera encontrar la entrada, como se define en la configuración del modelo. De forma predeterminada, si el modelo se cargó a través de Eland, el campo de entrada es text_field.

Prueba este ejemplo en la consola de herramientas para desarrolladores de Kibana:

El modelo encontró dos entidades: la persona "Josh" y el lugar "Berlín".

predicted_value es el texto de entrada en formato de texto anotado, class_name es la clase predicha y class_probability indica el nivel de confianza en la predicción. start_pos y end_pos son las posiciones del carácter inicial y final de la entidad identificada.

La API de _infer es una forma divertida y fácil de empezar, pero solo acepta una única entrada, y las entidades detectadas no se almacenan en Elasticsearch. Una alternativa es realizar una inferencia masiva en los documentos a medida que se ingestan a través de un pipeline de ingesta con el procesador de inferencia. 

Puedes definir un pipeline de ingesta en la UI de Stack Management o configurarlo en la consola de Kibana, que contiene varios procesadores de ingesta:

Empezando por el procesador inference, el propósito de field_map es mapear paragraph (el campo que se analizará en los documentos fuente) a text_field (el nombre del campo que el modelo está configurado para usar). target_field es el nombre del campo en el que se deben escribir los resultados de la inferencia.

El procesador script extrae las entidades y las agrupa por tipo. El resultado final son listas de personas, lugares y organizaciones detectadas en el texto de entrada. Agregaremos este script painless para que podamos compilar visualizaciones a partir de los campos que se crean.

La cláusula on_failure está ahí para detectar errores. Define dos acciones. En primer lugar, establece el campo meta _index con un nuevo valor, y el documento ahora se almacenará allí. En segundo lugar, el mensaje de error se escribe en un nuevo campo: ingest.failure. La inferencia puede fallar debido a una serie de razones fácilmente solucionables. Puede que el modelo no se haya desplegado o que falte el campo de entrada en alguno de los documentos fuente. Al redirigir los documentos fallidos a otro índice y establecer el mensaje de error, esas inferencias fallidas no se pierden y pueden ser revisadas posteriormente. Una vez solucionados los errores, vuelve a indexar desde el índice fallido para recuperar las solicitudes con error.

El NER puede aplicarse a muchos sets de datos. A modo de ejemplo, elegí la clásica novela de Victor Hugo de 1862 Los miserables. Puedes subir los párrafos de Los miserables de nuestro archivo json de ejemplo utilizando la función de carga de archivos de Kibana. El texto se divide en 14 021 documentos JSON, cada uno de los cuales contiene un único párrafo. Tomemos un párrafo al azar como ejemplo:

Una vez que el párrafo se ingesta a través del pipeline de NER, el documento resultante almacenado en Elasticsearch se marca con una persona identificada.

Un cloud de etiquetas es una visualización que escala las palabras según la frecuencia con la que aparecen y es la infografía perfecta para ver las entidades que se encuentran en Los miserables. Abre Kibana, crea una nueva visualización basada en agregaciones y luego elige Tag Cloud (Cloud de etiquetas). Selecciona el índice que contiene los resultados del NER y añade una agregación de términos en el campo tags.PER.keyword.

Es fácil apreciar en la visualización que Cosette, Marius y Jean Valjean son los personajes más mencionados en el libro.

Volviendo a la UI de Model Management (Administración de modelos), en Deployment stats (Estadísticas de despliegue), encontrarás Avg Inference Time (Tiempo medio de inferencia). Es el tiempo que mide el proceso nativo para realizar la inferencia en una sola solicitud. Al iniciar un despliegue, hay dos parámetros que controlan cómo se utilizan los recursos de la CPU: inference_threads y model_threads.

inference_threads es el número de subprocesos usados para ejecutar el modelo por solicitud. Aumentar inference_threads reduce directamente el tiempo medio de inferencia. La cantidad de solicitudes que se evalúan en paralelo se controla con model_threads. Esta configuración no reduce el tiempo medio de inferencia, pero aumenta el rendimiento.

En general, hay que ajustar la latencia aumentando el número de inference_threads y aumentar el rendimiento elevando el número de model_threads. Ambas configuraciones son las predeterminadas de un subproceso, por lo que se puede ganar mucho rendimiento modificándolas. El efecto se demuestra usando el modelo de NER.

Para cambiar una de las configuraciones de los subprocesos, se debe detener y reiniciar el despliegue. El parámetro ?force=true se pasa a la API de detención porque el despliegue está referenciado por un pipeline de ingesta que normalmente impediría la detención.

Y reiniciar con cuatro subprocesos de inferencia. El tiempo medio de inferencia se restablece cuando se reinicia el despliegue.

Al procesar los párrafos de Los miserables, el tiempo medio de inferencia desciende a 55.84 milisegundos por solicitud, frente a los 173.86 milisegundos de un subproceso.

El NER es solo una de las tareas de NLP que se pueden utilizar ahora. También están disponibles la clasificación de textos, la clasificación de tomas cero y las incrustaciones de textos. Se pueden encontrar más ejemplos en la documentación de NLP junto con una lista para nada exhaustiva de modelos desplegables en Elastic Stack.

El NLP es una nueva e importante característica de Elastic Stack para la versión 8.0 con un emocionante roadmap. Descubre características nuevas y mantente al tanto de los desarrollos más recientes creando tu cluster en Elastic Cloud. Suscríbete para una prueba gratuita de 14 días hoy y prueba los ejemplos de este blog.

Si deseas conocer más sobre NLP, lee:

• Cómo desplegar incrustaciones de texto de NLP y búsqueda vectorial


• How to deploy NLP: Sentiment Analysis Example (Cómo desplegar NLP: Ejemplo de análisis de sentimiento)
• How to deploy natural language processing (NLP): Primeros pasos