tv.um.es

Una vez no hubiésemos visto una visión general de alto nivel de lo que es arquitectura ciertas decisiones de diferentes elementos del de la misma. Es un poco de meternos ya un poco más abajo en diferentes módulos para, para ir viendo qué es lo que es lo que incluye, que mis servicios tienen y definitiva como cómo se ha ido llevando. Se ha ido llevando a cabo cada uno de cada una de ellas, si bien es cierto que, como se hacía al principio de las sesiones posteriores, seguirá profundizando aún más a mucha más nivel también de nivel programación, y me permitirá para para ir viendo cada uno de ellos, pero bueno, en el. La reunión de hoy, la presión de la idea es verlos conceptualmente, que es lo que es lo que es lo que tienen y cómo, cómo funciona. Entonces? Un poco metiéndonos en la parte de la entrada de datos, que sería el primero de los bloques o, o por donde fluye la La 2, nos proponen toda la información. Veréis que lo vamos a ir viendo todos estos módulos a medida que va fluyendo la información en el sistema para establecer un orden en el primero es la, como decía, la entrada de la entrada de los datos, y digamos que esto esta gestión abarca desde la opción de datos de diferentes fuentes hasta la generación de los datos en formato, formato. Entonces, digamos que lo primero que tenemos que hacer es eso, leer los datos de diferentes orígenes de información. Gracias a estos orígenes de información evidentemente son distintos, cada uno de ellos tendrá diferentes características, por lo tanto, son fuentes heterogéneos. También fueron diferentes protocolos, por un lado, de diferentes formatos, diferentes protocolos que se van a obtener por tener cotizar para obtener esa información, por ejemplo en servicios o a un vídeo, una base de datos o, etc, etc. No se podría dar soporte a cualquier protocolo entre los que puedan estar previstos para este proyecto, pues podríamos incluir. Etc. Habría habría varios, varios de ellos, entonces, un poco para para dar, para darle cabida, todo a todo esto. Pues viendo otra vez el esquema de la de la del modelo de importación pues pues tendríamos pues diferentes diferentes importadores de datos uno por cada una de las cuentas externas, como vimos hace un momento, son fuentes heterogéneas, y lo hemos además. Pues vamos a tener una vez los importadores. Cojan esos datos, lo metan en el sistema, pues digamos que van a estar ya en un formato que reconocible por la aplicación, formato, ya más estandarizado que va a poder ser trabajado por los diferentes servicios. El siguiente de ellos es el procesador de datos que es el que se va a encargar de transformar los datos centrada en datos, formato, formato, ayudándose. Para ello en ventaja, en una tele vamos a inventar la nata. Entonces, digamos que va a ser necesario hacer esa esa, esa labor. De unificación de transformación para para poder llevar a sacar esa información en el formato que espera la que definen la antología entonces, para para ello, también vamos a necesitar de hacer una labor de análisis, esos datos de integración, de agregación o incluso, muchas veces, por ejemplo, para componer un único, un único dato de los que espera la teología. Es posible que necesitamos utilizar varios datos de los que nos viene de la entrada, incluso varios de diferentes fuentes. Seguramente, a lo mejor para para poder componer lo por por completo. Entonces ahí también un poco un poco por por eso también. Por un lado, se evite ese procesador que meter los datos en una base de intermedio y luego hay una tve que trabaja contra contra esa base de datos intermedio en base a una serie de consultas que le van a permitir hacer esa esa, esa unión de datos y otras formaciones, todo lo que vaya, todo lo que vaya necesitando. Por último, enviándolo al gusto de servicio de Kafka para poderlo ya ser leído desde desde desde los siguientes módulos. En cuanto a, en cuanto a los importadores, como, como decíamos, vamos a tener diferentes fuentes de forma de forma heterogénea. Entonces, la la, la idea para poder lidiar con todo eso es tener un micro servicio por cada una de las fuentes de datos. Es decir, va a existir un importador diferente por cada una de las de las fuentes de datos que vayamos a tener uno para y otro para su vez otro etc etc no entonces cada uno de estos importadores va a ser una especie de adaptador, por decirlo de alguna manera, de esas fuentes de datos tiro entonces ellos saben cómo cómo leer cómo trabajar cómo comunicarse en definitiva con esa fuente de datos o coger los datos, obtener esa información y pasarlos a un formato entendible por el resto de servicios, y ese va a ser simplemente su su cometido, es decir, leeréis a estar los datos en el sistema? Entonces, bueno, un poco un poco para, para lidiar con ello decir al final para ayudarnos en todo este proceso al que vamos a tener una ingesta masiva de información y es posible que los siguientes servicios tengan un procesamiento más más elevado y y y que tardé más tiempo en procesar cada uno de los de los eventos, pues para ello vamos a ayudarnos de un sistema como, como ya hemos visto anteriormente, que va a haber unas buses, unas colas generales o principales, pero por ello no quita que pueda haber otras otras de ayuda a otras intermedias que hagamos uso de ello. Si volvemos aquí atrás, vemos cómo los importadores, además de leer los datos de ahí y transformado su formato, entendible para el resto de servicios, lo que van a hacer es importarlo, dentro de ese servilismo del módulo de entrada, donde el procesador va consumirlos. Vale, pero lo va a consumir, a su ritmo, que es un poco el objetivo que queremos que queremos conseguir con este tipo de aproximación, que estamos, que estamos planteando. Entonces, ganó una vez, una vez transformados perdón, una vez leídos los los datos y metidos a la cola de entraría en la función el procesador de datos que el procesador va a meter esa información, como decíamos, en una base de datos intermedia, que, que va a ser sobre la cual van a trabajar bajo la atenta agresión, que va a ser nuestro motor de transformación, de datos o nuestra nuestra. Para hacer esas traducciones entre los datos de los datos de entrada y los datos en formato definido por la oncología o lo que hicimos antes, que también lo conocíamos como como los ojos. En este caso entonces, un poco lo que tenemos que hacer es. Eso. Nos hace diferentes fuentes de datos con distinta información y vamos a tener que hacerse tras una acción, aplicar una serie de cálculos script un mapping infiltrado pivotado, etc. Etc. Unas cuantas acciones que vamos a necesitar ahí mediante, mediante ese motor de el cual se va a encargar de hacer toda, toda la toda la transformación en base a una serie de reglas a paso a un huérfano, que este, que estoy definido iba a ir justo debajo. Vemos una especie de The Guard Flo un poco de ejemplo, no tiene nada que ver con ninguno de los que ayudan a la aplicación, pero bueno, para que para que hagamos un poco lo que podría estar haciendo, pues en este caso está leyendo datos de dos de dos fuentes por un caso, pues hace un filtrado en otro caso, pues añade los ciertos datos que falta o los va buscando, hacer una preparación, luego los los todos los unifica en unos objetos es bueno. Al final acaba escribiendo una, en una base de datos, el dato transformada al final, un poco la idea. La idea sería un poco un poco esa de lo que queremos conseguir con la que es una una. Entonces bueno, la al final lo que vamos a tener por un lado, pues pues el proceso de post sería un poco, un poco. Al final todo esto. Por un lado, tendríamos que extraer los datos de unas entidades principales, como también en Santander y las propiedades, como las, como las relaciones entre entre ellos, después habría que que hacer una especie de transformación mal eliminando los caracteres extraños. Entonces aquellos campos que los precisen. Si se tenían solamente los datos que fuesen necesarios y se añaden campos constantes y si procede, o realizando también ordenación es sobre diferentes campos de identificación o uniones, alegaciones necesarias. Realmente es seria, sería se harían todo aquellas cosas necesarias para analizar la transformación de esos datos para amoldar a las necesidades del sistema. Desde los datos, como tenga un origen hasta tenerlo lo que queramos tener hacia hacia el destino, hacia donde tengamos que ir, al formato que quedamos, disponer esa información, pues es un poco todo lo que se haría en esta fase de transformación y ya, en último lugar, una vez detenido esos datos ya formados, en un formato adecuado, pues lo tendríamos que cargar al final en la cola, en la cola de Kafka, que nos va a permitir comunicar con él, con el sistema de gestión y el procesamiento de eventos. Acuerdo. Hay una. Hay un tema también importante en este este proceso de transformación, de acuerdo que también hay que hay que ver, no porque aquí está ahora mismo estamos hablando un poco de forma de forma general todo esté todo este proceso, pero en el proceso al que iba a incluir tanto los datos como las relaciones entre ellos como como hemos visto, pero aquí hay un inconveniente que tenemos que tenemos que ver, no podemos mandar los datos y las relaciones a la vez. No nos podemos mandar por una forma sencilla razón, porque si lo mandamos a la vez que un dato está relacionado con otro recurso está relacionado con otro. Es posible. Es muy posible de que ese otro recurso el recurso relacionado no exista todavía se puede que sí o puede, que no vale, pero si es que no tenemos un problema porque no vamos a poder grabar esa esa relación sería. Tendríamos que seguir diferentes estrategias para poder liderarlo como crear recursos vacíos y luego luego cuando nos llegue rellenarlo pero bueno también tendríamos ahí cierto es cierto problemática para poder identificar cuando nos llegó un recurso, si ya existe un recurso vacío. Además de que requeriría comprobar en el sistema es meter muchísima más carga, sea comprobar cada vez que haya un recurso, si existe un dato vacío para para rellenarlo, etc, etc. Entonces, un poco para lidiar con con todo esto, lo que vamos a hacer es tener dos dividirlo en 2, no. Por un lado. Generar los datos sin relaciones, es decir solamente los recursos, los ojos con los con los capos de tipo literal, por decirlo de alguna manera. Eso va a ir a través de una cola de caza o quizás lo vemos aquí aquí mejor. Por un lado iría a través del después de la tele. Saldrían los datos, en formato poco querían ser muy general y luego una vez estos datos ya están generadas. Por otro lado, vamos a generar las relaciones que tienen entre entre los diferentes elementos para que se traten posteriormente. De esta manera vamos a asegurar que cuando tenemos una relación entre entre dos entidades, entre los recursos existan las dos entonces ya se va a poder crear una forma de una forma adecuada y además que no vamos a requerir de una gran sobrecarga en el sistema para estar todo el rato buscando si existe, si no existe para poder hacer la relación correctamente después en el sistema de almacenamiento. Entonces, un poco por ese motivo lo hemos, lo hemos dividido en dos en dos este proceso de transformación, por un lado, los los objetos planos y, por otro lado, van los los enlaces entre-entre ellos se van a procesar en ese orden. Bueno, eso toda esta parte en cuanto a la parte del módulo. De entrada, si queréis aprovechar para preguntar alguna cosa, alguna duda que tengáis antes de pasar al siguiente. Módulo. A mí me sugiere a profundizar más en algunos apartados, pero en el proceso de cargo. Se encarga de configurar toda la parte de la ventaja. Además, eso recae en algún usuario. Y si la parte de la tele forma parte del desarrollo del proyecto, no tanto, además del código fuente de la aplicación que requeriría todos los servicios, también estamos desarrollando toda todo. Todo. Todo. Todo la configuración, como se componía, simplemente habría que cargar dicha dicha configuración, pero digamos que la confederación ya está hecha, colocó con lo cual recaería en el equipo de desarrollo la parte de la tele. No sé si eso responde a la pregunta de otras maneras. En la sesión de mañana no es en la noche del jueves una del viernes ya se va a explicar un poco de por parte de la gente que desarrolla la tele cómo se montaría un entorno de desarrollo, en caso de que fuese necesario y y demás. Pero ya os digo que en principio eso requería de la parte de desarrollo el tener esa, esa configuración ya hecha, bale.