Idioma: Español
Fecha: Subida: 2021-02-10T00:00:00+01:00
Duración: 1h 05m 17s
Lugar: Curso
Visitas: 1.366 visitas

04_ETL

Transcripción (generada automáticamente)

Hola, buenos días a todos los días Hola. Qué tal estáis cansados. Bueno, que yo vaya el cuarto día, no me extraña. Bueno, con suerte, esta parte mía va a ser un poco más ligera, con suerte, dijo, e igual no lo toma ahí como un poco, como cierto descanso, Bale Alberto, si eres grabando, tú o yo me deja, ya no vale perfecta, si todas las sesiones, no un único archivo. Bueno, pues yo soy ignacio, soy el encargado de desarrollar toda la parte de este proyecto y os voy a dar. Voy a cubrir esta parte de la formación. En la sesión de hoy simplemente vamos a vamos a instalar lo que es el entorno, que básicamente es instalar la herramienta que estamos utilizando en este proyecto, y la segunda sesión, pues nos adentraremos más en el proyecto en sí para que veáis un poco como está desarrollado para que entendáis como encontrar la relación entre la antología y y los los datos de la de la Universidad de Murcia y sobre todo, pues eso sí hay que desarrollar cosas a futuro. Que sepáis bien, como cómo hacerlo. Vale, pues voy a compartir pantalla. Cuando veáis por favor. Ya vale en preparado un pequeño, lo dejaré subido al repositorio, para que tengáis acceso a un poco a modo de resumen para que tenga es documentada toda la toda la información necesaria. Pero, bueno, todas maneras iremos paso a paso y si tienes cualquier duda y demás vamos vamos comentando vale entonces lo que lo vamos a ver ahora mismo es, se había puesto un poquito, a modo de información poco, pues que es en qué consiste, por si alguno de vosotros nunca ha trabajado nunca visto anteriormente. Estas herramientas. Seguidamente veremos un poquito por encima, como es la arquitectura para este proyecto. Instalaremos ventaja. Lo dejaremos configurado para que os funciona todos en luego también veremos otras herramientas que van a hacer falta para para la ejecución de una base de datos. María debe mayor, se cuele que habíais visto, habéis visto antes con Alberto Bueno, eso la prueba igual no te sale porque la imagen de tocarnos les arrancaba entonces bueno deja de hacerlo como teórico del domingo Sí sí sí sí vale perfecto lo comentamos por encima que para que lo tengáis en cuenta y y ha llegado el momento que lo podéis utilizar, luego, si vamos bien de tiempo y si no tenéis problemas con la instalación, vemos un poquito por encima, como es la la estructura con algunas capturas de pantalla para que yo tenga una pequeña idea de en qué consiste y tal y luego que sepáis como cómo funciona la ejecución, vale. Cómo funciona la ejecución, como se revisaría que todo ha ido bien, que ha habido errores, pero vale esta última parte tampoco? Tampoco importa mucho que vosotros la ahora mismo vale, porque tendría que tendríamos que cargar una versión del proyecto estable que funcione, y eso no lo veremos en la próxima sesión tranquilamente, vale, pero bueno, para que tengáis una unas nociones, si habéis alguna vez visto visto un proceso de anteriormente. No, no, o sea, no se refiere a traer datos. Sí; bueno, básicamente es eso. Un proceso, no es una tecnología utilizada en todos los proyectos de casi todos, es bastante, bastante conocida y utilizada ampliamente extendida. Consiste básicamente justamente lo que lo que habéis dicho, extraer, transformar y cargar, no a los proyectos de vih. Existe una parte que supone prácticamente el 80 por 100 del trabajo, que es la integración de los datos. Los datos en una corporación pueden estar muy, muy distribuidos en distintos sistemas, distintas plataformas, bases de datos con distintos formatos, archivos, repositorios de distinta índole, todos, todos esos datos hay que integrar los el único sitio en una única enclave no puede ser; un pueden ser Data, marcha, pueden ser otra base de datos en sí misma, pero, claro, todo ese proceso, pues es complejo o no complejo y tiene que ser unificado y centralizado en un mismo sitio. Entonces, toda esa tarea de extracción, de unificación de toda la información en un único, en un único sitio, en un único lugar, toda la transformación posterior de los datos para para adaptarlos a un formato único, pues digamos trabajar conforme con tipos de datos, formatos de fechas. En fin, que todo que todo sea consistente y uniforme vale? Pues esto, todo esto ocurre aquí en el proceso de. Finalmente, cuando todos los datos están transformados y ya están, digamos, a gusto del consumidor en función del modelo de negocio, pues se cargan en otro. En otros sitios clave, que también puede ser, pues eso, otra base de datos diferentes, por ejemplo, y ahí llegamos ya estarían accesibles para ser, para trabajar con ellos, pues eso sí a groso modo, es un poco lo que consiste un proceso de tve. Nosotros en este proyecto, pues utilizaremos una herramienta que veréis luego se llama Tajo, y una herramienta open ampliamente conocida muy potente que da, digamos, cobertura y cabida a todas las necesidades que, salvo excepciones, cualquier organización necesitarían cubrir y es la que es la que utilizaremos a Dios. Pongo un pequeño esquema de de lo que se haría dentro de cada fase. En nuestro proyecto tendríamos una primera parte de extracción en donde lo que haríamos es una lectura, un acceso a las a las entidades con las que las distintas tablas todas sus propiedades, y también todas las relaciones que existen entre ellas que estarían involucradas en el proyecto. Una vez que tendremos esa parte esa parte cubierta pasaríamos a la capa de transformación de lo que haríamos es limpieza de los datos. Desde unificar formatos de fechas, hasta eliminación de caracteres extraños, ordenación de los datos distintas, agrupar agrupaciones todos; los entre tablas que sean necesarias, cargas en bases de datos intermedias para luego ser reutilizadas con posterioridad y luego, definir el formato de salida de los datos, que ya veréis. Qué que lo que lo que sale del hotel es solo los pollos que hablaba Alberto antes, son unas estructuras de datos, formato y Eidson, y ese formato, pues se consolida y se establece aquí dentro. Y luego finalmente la parte de la carga, no? Cuando nuestros datos y el formato que necesitamos y todo ha ido bien y sin errores se realizaría la carga. Las colas de Bale luego, desde aquí irían al tres leyes que nos enseñaban antes y, bueno, pues se debía todo el flujo hasta finalmente cargar los datos en el frontal de la aplicación, que sería el destino final. Vale, alguna pregunta hasta aquí. Bale. Aquí os enseño el formato de salida que tiene que cumplir nuestros datos. Veréis que trabajaremos con objetos, planos y con objetos de relación. Un objeto plano es una entidad como puede ser proyecto, como pueden ser contrato a investigador, a director de tesis; en fin, todos la todas las clases o entidades con las que trabajaremos en nuestro modelo de datos. Entonces, con cada una de esas entidades se crean objeto plano un objeto plano. Lo que incluye es el nombre de la clase, que se maneja un identificador y una serie de propiedades propiedades que tienen una relación humana uno vale pues por ejemplo proyecto una propiedad podría ser el nombre del proyecto Otra propiedad podría ser la fecha de arranque otra propiedad. La fecha. Fin otra propiedad podría ser el tipo de proyectos y es internacional si es de ámbito nacional, etc. Y luego, por otro lado, tendremos los objetos relacionados que lo que hacen es tratar estas entidades que primeramente, hemos integrado como objetos, planos, pero incluyendo sus relaciones. Un ejemplo de esto podría ser. Centrándonos también en la entidad proyecto, una relación podría ser el equipo del proyecto, es decir, todos aquellos investigadores que están involucrados en un proyecto concreto, pues eso es una relación habitualmente uno Ahn donde tendremos múltiples, múltiples personas asociadas a un proyecto. Otra relación podría ser la financiación puede estar subvencionado desde varios desde varias vías, no fondos feder pueden ser subvenciones de carácter nacional, etc. Entonces estaríamos relacionando dos entidades. Proyecto con el equipo de investigación, que serían personas y por otro lado, de su proyecto, con los tipos de financiación. Vale, pues en estas dos formas de estructurar la información se hacen de forma separada con objetos planos, y con los objetos relacionados a quienes pongo de modo genérico, vale. Cada cada parte de este de este fichero son de este objeto, son que se generan la salida para que tengáis una idea clara de la estructura que tiene que mantener. Vale, pues vamos a cesar la instalación de ventaja. Bale. Lo primero que tenéis que hacer es acceder a este enlace, que os lo voy a poner. Os lo voy a poner en el chat. Según Carlos. Se acababa de poner, en el enlace puedes bajar el Pentágono. La última versión. Tarda un poquito porque ocupa ocupa varios gigas. Entonces, bueno, si lo ponéis a descargar, lo dejamos y vamos, vamos configurando el resto de cosas simplemente directamente y os lo descarga. Avisarle cuando lo tengáis ya descargando para seguir. Nadie lo estoy desgranando, pero sí queda perfecto. Dejamos que vaya descargando tranquilamente Bale el siguiente paso sería comprobar que tengáis la lopj instalado y, bueno, la versión que tengáis en cada caso, bueno básicamente que tengáis Jr instalado creo que antes con Alberto lo visteis esto es bueno si me confirma es que todos lo tenemos en nuestros equipos, y vale estupendo. Lo siguiente sería la versión de j. J también. Si no lo tenéis, el enlace. Sea este nuevo puesto. Vale, lo tenéis. Entonces, por si acaso. Estupendo entonces. Valen lo siguiente, sería a configurar las variables de entorno. Tenemos que tenemos que meter varias variables. Entonces nos iríamos a las variables de entorno. Mi equipo, propiedades, configuración avanzada del sistema hasta que llegue del entorno vall, estáis todos. Bale variables de usuario arriba, la de arriba. Tenéis que meter una primera variable que se llame con mayúsculas, separado, con guión bajo. El valor tenéis que poner la ruta. Tengáis, el Jr, el archivo, dentro de la carpeta, en la versión de Jr que tengáis está plagada. La ruta de ejemplo. La siguiente de archivos del programa programa Java la carpeta j r. Jr con la versión dentro. Barra y. Bale. Tenéis localizada el archivo del programa. Yo no sé no tiene futuro ha fundado una web dos uno la década. A a si bueno. Esa es la variable de usuarios. Siguen variables de usuario. Está vale y de nombre. Ventaja. Biombo, guión, guión bajo. Bale otra variable, sería esto, bajo guión bajo guion? Bajo un Home. Tenéis que poner la misma ruta que antes, pero solamente la carpeta de j r. Pero nada de antes era la perpetua y luego sí la vuelvo a abrir manera. Tenemos que cambiar de moto a; sí; sí. Nada más despacio y tranquilos. Las rondas hasta ha llegado hasta ahí hasta Jr. Es decir, lo que es, va Rabin se quita. Al día siguiente era la siguiente. Sería ventaja guión bajo guion, bajo un Home. Y sería la carpeta j r. Sí. Podéis copiar la ruta de la otra variable, de la. Y luego, por último, otra variable más dentro de variables de usuario que se bien bajo. Dónde tenéis que poner la ruta donde tengáis, el jfk. Perfecto, bale, por último, en bastiones del sistema. Tenéis que aseguraron que tengáis esta variable creada la variable paz que la tendréis todos me imagino. Vale, aquí vamos a comprobar lo siguiente. Vale, perfecto, no, son las variables que necesitáis estas tres balear ahora? Teóricamente ya podréis abrir ventaja cómo va la descarga determinado Gameiro Bale. Bueno, es su. Si lo tenéis que descomprimir, la mitad. Vale? Pues no quiero que lo tengáis, ya lo podéis. Vale esta carpeta la podéis guardar en cualquier sitio, por ejemplo en el escritorio para tenerlo como un acceso directo. No hay que instalar nada en Windows es un fichero por lotes que se haga ejecutar cada vez que cae que se vaya a venir abajo. Entonces bueno, os vais a encontrar todo este listado de archivos dentro de la carpeta para ejecutar ventaja o tenéis que hacer clic en el que se llama un punto que es un archivo por lotes de Windows. Si hacéis doble clic. Sobre los puntos. Se tiene que abrir y tendréis que llegar a esta ventana, que os estoy siguiendo por pantalla. Se sabrá la primera y no habrá ningún problema. Me vais comentando. Cómo. No sobrevivió en ventaja a los que ya lo tenéis descargado esta está bien abriéndose, pero no termina de arrancar, Bale. Me imagino que estará viendo la ventana de Xi desventaja de integración con la versión más ventajosas de integración de Wall Street en el árbol de la izquierda transformada. En? Perfecto. Eso es que eso es que te abren perfectamente sin errores. Si hubiera tenido algún problema con las variables o con el jmj de Cao, pues ya no se habría saltado. Vamos para el resto de compañeros para que estemos todos en el mismo punto. Soy un poquito en abril. Por lo general, al se ha descargado. Vamos a esperar un poquito entonces, vamos bien de tiempo. Vale que fichero había que ejecutar el fichero que hay que ejecutar. Es el siguiente. Es un punto. Ya lo tengo, ya se está abriendo perfecto. Hay que comprimir cualquier sitio si puede ser en el escritorio, por ejemplo, en cualquier sitio donde va con la consola. No doble. Si es. La consola puede ser necesaria para configurar procesos y demás cuando ésta está terminado para automatizar sus ejecuciones. Pero para abrir ventajoso, no es necesario una consola simplemente un punto insuficiente para bien. Perfecto estamos todos entonces faltaba una falta va Valentina la cosa está a punto de terminar. Vamos a darle un poco de tiempo. Prefiero que estemos todos Alavés, que no tengamos problemas para abrirlo, porque ventaja bajo estas últimas versiones no, pero las anteriores era muy, muy difícil de ejecutar. Bien, a la primera siempre había algo por ahí se rompía algún error y demás. Parece que ahora las últimas versiones son un poco más sólidas. Es la primera vez que lo instale estuve media jornada para, para que se abrieran del día jornada, que se dice pronto. Varias veces me he cargado. Si mira quién la captura de pantalla, quiero. Si tardan un poquito, en abril. Mientras no te fallos, todo va bien. Qué tal y como va? Eso me ha dado? Vale, perfecto, estáis todos. Entonces no bale. Una vez que tiene instalado y abierto a aquí en esta transparencia como como abrir un repositorio en la próxima sesión, cuando cuando pase el proyecto sobre el que trabajaremos veréis que está organizado una serie de carpetas y directorios enseñar un poquito la pinta que tiene. Vale. El proyecto que tiene esta estructura en forma de carpetas, a donde se irá guardando los distintos los ficheros que conforman el proyecto ya os voy a explicar ahora básicamente es son sus trabajos o transformaciones, vale, y luego bueno, pues hay una serie de carpetas donde se donde metemos archivos de configuración de control, de versiones, los controles de errores, los ficheros de look veréis qué bueno tenemos también maneras de controlar que las bases de datos son accesibles y no dan errores. Tenemos alertas configuradas puntos de control en para llevar un control de flujo de las ejecuciones, etc. Nulas las estructuras principales, en qué se basa? Como comentaba, son los ojos y las transformaciones que es lo que veáis en la pantalla principal desventaja estas dos carpetas y bueno, pues ese serían guardadas en sus correspondientes carpetas, vale los dios que tienen la extensión, punto a j. B y las transformaciones que tiene la extensión punto vale con esto bueno podréis identificar fácilmente si estáis trabajando con una unión o una transformación. En caso de que le dais un nombre inapropiado. Bale, vale? Entonces, cuando cuando disponga del proyecto con todos esto continúa esta estructura de carpetas, para abrirlo dentro de ventaja, lo que hay que hacer sería darle al botón. Citó con la esquina superior derecha y la opción que ponerle opositor y mano ayer. Se sabe de en mi caso tengo dos proyectos, dos repositorios disponibles. Nuestro caso, lo tendréis vacío, simplemente tendréis que hacer clic. En el botón de días dan varias opciones. A otros repositorios, repositorio de tipo fichero vale más en esta opción, le damos un nombre al repositorio llamarlo así o Hércules, o como queráis bale, buscar la ubicación del proyecto. Qué bueno, mi caso es la carpeta -proyecto. Vosotros cuando lo tengáis, pues simplemente se la nombre de la carpeta la carpeta raíz vale proyecto. El otro nombre porque si no me vale error. Perdóname, he decidido asaltar algún paso, porque no sé dónde, en qué momento no hemos descargado el código fuente. Vale, no, el código fuente no lo tenéis disponible. Ahora mismo lo subirán a una versión, a allí con la última versión que tengamos, estable, Bale, y en la próxima sesión trabajaremos sobre ello. Bale van en esta sesión. No es necesario, es decir, yo os voy a enseñar algunas cosillas del proyecto, pero, pero bueno, no es necesario que lo que lo carga es por el momento vale, vale, pero entonces este paso que hacemos es nada, simplemente tener en cuenta como cómo se conecta a un repositorio que es muy sencillo, vale, para que lo tengáis un poco las mañanas en la próxima sesión no lo vamos a repetir. Así que es un problema en este cuerpo en que también nos lo compartiré os pongo los pasos a seguir para que nos tengáis siempre a mano bale todas la capturas de pantalla, de estas ventanillas, que estoy abriendo ahora mal. Entonces, una vez que tengáis la ruta del proyecto, le dais a finalizar. Entonces, bueno, pues te dice que sea conectado correctamente, le damos a conectar. Ahora vale? Ya estaríamos conectados al proyecto, de manera que ahora sí le damos a abrir arriba la izquierda, pues tenemos un acceso toda la estructura del proyecto, partiendo de la carpeta raíz, donde tenemos todas las carpetas que había enseñado antes numeradas y aquí bueno, pues podemos abrir los yo, si las transformaciones simplemente haciendo clic en cada una de las carpetas. Esta sería la manera de trabajar con el proyecto de modificar lo existente de crear cosas nuevas etc etc vale pues ya tenemos ventaja instalado funcionando perfecto seguimos vale esto creo que lo habéis visto antes con Alberto, sería la plataforma de Kafka, donde podéis ver los mensajes como van llegando. Creo que antes estaba valorado cuando estábamos con el enseñando a esta vez con el estatus. De acuerdo, vale? Esta herramienta la tenéis que tener a mano, siempre cuando trabajáis con él simplemente a modo de comprobación de que los ojos están llegando, están generándose correctamente. No obstante, la ley ya dispone de un control de errores, donde si algo va mal o algo falla, pues va a soltar un aviso al dar un aviso bien dentro de ventaja, la consola, bien dentro de los archivos. De lo que os antes de tiempo se ha pasado, algo. Si se ejecuta correctamente. Está bien que tengáis esta herramienta más simplemente, a modo de comprobación, vale. Entonces, bueno, dentro de los de los topics, automáticamente va a generar estos dos topics. Uno se llaman, se llama el general de Bale, en el almacenará, los objetos planos que habíamos visto antes, y en general de Inglaterra se almacenan los los objetos relacionados; por ejemplo, los objetos planos. Recuperamos, mensajes. Aquí tenéis algún ejemplo de los mensajes que Bale haciendo clic en el mensaje. Aquí podéis ver la estructura que tienen. Los los ojos de aquí tenéis un objeto de tipo Chatel, capítulo con las distintas propiedades. La operación que se hace es inserción de datos, y los datos que se incluirían en el sistema avale, fecha, página de inicio, y la propiedad, que lo que te dice es el nombre de la entidad que estamos manejando publicación publicado edición el identificador etc esto esta estructura de propiedades viene dictaminada por la odontología Bale. No sé si habéis visto ya habéis tenido ya la sesión de la antología con Emilio. A, pues la oncología determina las propiedades que tienen que tener cada una de las de las entidades que se manejan y simplemente las incluyendo aquellas donde hay dato, pues aparecerá el dato correspondiente a aquellas donde la Universidad de Murcia no disponga de datos, pues aparecerá si a futuro se incluyen en los orígenes de datos. Ese dato faltan en cuestión, pues habrá que hacer los cambios oportunos para añadirlo. Vale aquí dentro tranquilos, que lo veremos con calma en la próxima sesión. Entonces, bueno, como nos comentaba aquí tenemos un capítulo de un libro, vale? Tenemos la página de inicio, tenemos el identificador, la página final y el título vale, parecerían vacíos. Si nos vamos a otro tipo de otro objeto. Bueno, esto es por aquí son todos capítulos. Aquí tenemos un tipo acreditación de investigación. Veis que el número de propiedades es diferente, tienen otros nombres, incluso puede que tengan más o menos propiedades, depende un poquito de tipo de entidad y sobre todo de lo que de lo que dice la antología vale, pero bueno, aquí es donde podréis revisar de forma rápida y fácil qué información se está enviando a Bale? . 483 00:42:44,520 --> 00:42:49,500 Vale más cosas a Bale, este sería la parte de Kafka vale, de acuerdo a antes de enseñarnos lo que es un, yo vi una transformación y cómo se ve, dentro de dentro de un tajo comentarios, que trabaja con una base de datos intermedia a esto, cuando el contenedor no funcione debidamente con vuestro gestor de bases de datos, tendréis que tener acceso a una serie de tablas almacenadas, dentro de una base de datos que se va a llamar, donde se va almacenando todos los datos que se añaden en estos son que os enseñaba ahora en los ojos valen, es decir, acceder a los datos de origen hacia una serie de transformaciones y enviar las colas de Kafka, los las estructuras de datos de salida, pero paralelamente esos datos se almacenan en una base de datos intermedia, porque se hace esto, porque como después de los objetos planos habrá que crear, los objetos con sus relaciones de esta forma vamos a tener almacenadas. Esta información la vamos a tener ya organizada, según dice la oncología, para que sea mucho más fácil de identificar y sobre todo también, porque nos va a permitir llevar un control de las distintas versiones que se vayan ejecutando, pero es que hay un campo que se va versión con cada ejecución, se va a ejecutar una versión concreta, en este caso es que tenemos la versión 39, pero en esta base de datos se van a ir con cadenas, no todas las versiones a modo de histórico. Entonces, bueno, si en algún momento hay que acceder a una versión pasada o hay que realizar algún cambio o alguna revisión, simplemente a modo de consulta, pues contempla, contempla este almacenamiento de la información, sino de otra manera. Lo perderíamos. Si sería muy difícil, vale esto bueno, como carácter informativo, y la segunda sesión lo veremos con calma, como decía, y bueno, pues ahora nos vamos a ir al tajo, y vamos a abrir un vio una transformación. Para que hagáis un poquito, qué pinta tiene y en qué consiste? Vale el proyecto. Tiene en su carpeta raíz un guión que se llama, que está aquí solo aislado separado de los demás para que tengáis identificado que archivo es el que tenéis que abrir, una vez que abriese proyecto. Vale? Este sería como el archivo más alto nivel, el padre del que pende el resto de información. De todo abrimos, vale? Esto es un. Yo es un un trabajo, es una estructura de información, funciona bajo otros hoteles, puede ser que trabajen con otras, con otro tipo de estructuras, pero en ventaja sería así. Lo dio Bale, que es un you you es una consecución de transformaciones o de otros Dios Bale, que significa? Esto es, es una carpeta. Al final es un contenedor. Yo no tiene, no tiene otra. Otra definición es simplemente una manera de organizar la información. No es estrictamente obligatorio utilizarlos ni hay una regla general de cuantos que haya que utilizar. Eso depende de las características de cada proyecto, como se está desarrollando, pues se están creando por cada por cada estructura que marca la odontología. Vale, es la forma más fácil de detener los datos ordenados y de que cuando haya que acceder a algo concretamente, pues esté accesible entonces aquí véis, el que sería el principal tiene un un modo de arranque estar, y a continuación tiene distintos distintos nodos que hacen referencia al Gobierno, a otros, o la transformación vale entonces dentro de dentro de este yo, que se llama conexión San -bueno, yo se identifica porque es tiene unas flechas amarillas y una transformación verde. Así lo veáis, a golpe de vista, lo identificar rápidamente tendríamos un primer guion, que lo que hace es un control y un chequeo de de los de las distintas bases de datos que se utilizan. Bale. Es modo de control para detectar. Que no hay errores, se puede acceder a al que está almacenado aquí dentro. En la cajita vale. Botón derecho. Abrir objeto referenciado, dentro del que se encuentra mirado dentro del principal aquí? Bueno, pues veis que tenemos distintos pasos, distintas estructuras para para controlar las conexiones, etc. Dentro de este yo véis que hay otro, yo a su vez anidado controla las distintas ejecuciones, etc. Etc. Vale. Una vez que este se ejecuta de forma secuencial el flujo del le pasaría al siguiente, si bien éste ya se encarga de cargar los datos; si dentro véis que tenemos una serie de ellos organizados en cascada, vale con las distintas entidades del de la odontología, pues cargar los datos de acreditación de proyectos contenidos de información agente actividad financiación gastos roles relaciones esto esto viene todo viene toda la estructura de la oncología, tendría acceso a ello para, para comprobarlo, para verificarlo. Todo. Dentro de él y yo de proyecto, pues si entramos dentro, nos encontraremos otro, yo, que estructura los proyectos dentro de proyectos de ámbito nacional y proyectos de tipo internacional. Figaro, es que dentro de este yo ya no tenemos más, tenemos dos transformaciones. Entonces, la transformación sería ya la estructura de datos que se encarga de acceder a un origen de datos, hacer todas la todos los cambios y transformaciones oportunas, y, al final, hacer la carga en destino. Si entramos en una transformación aquí véis que que tenemos una estructura más compleja, cada cada uno de estos nodos se llama una step, y realiza una acción concreta, vale al principio del todo, pues siempre tenemos los nodos de lectura de datos. En este caso, pues estoy aquí si lo abrimos, lo que haría sería simplemente una consulta; ese cuele al origen de datos al que queremos acceder en este caso sería la tabla proyecto vale esto bueno pues se puede se puede visualizar. Que me estaba dando un error. Lo solucionó rápido. Podéis acceder, podéis los datos, ver exactamente el origen de datos estamos adquiriendo en este caso, es que sería la tabla de los del modelo de datos de la Universidad de Murcia que contiene todos los proyectos. Podéis que la lectura se está haciendo correctamente. Aquí se puede evitar, la consulta se cuele si se quiere hacer algún tipo de cambio ordenación agrupación y demás pero no es necesario vale porque para eso está hacer todos estos, todo este proceso de transformación y evitar tener que hacerlo todo en una consulta. Bueno, pues esto es lo que hace básicamente seguir un flujo que parte de la lectura de los datos continúa con una limpieza, selección de campos necesarios, ordenación, agrupación estrenado. De aquí lo que haría sería una unión de 2. Los orígenes de datos, que vendría a un origen en esta segunda línea, vendría otro origen. En este nodo lo que harían, serían unirse, estas dos ramas vale de manera que el flujo de información, que continuaría por aquí por esta flecha aquí abajo y contendría datos, nidos de estos diseños, en este caso son cuatro orígenes de datos diferentes. Obviamente, tienen en común, si no se podría hacer la Unión, y ellos concluirían en este nodo de dónde saldrían todos los datos unificados. Finalmente la información vendría por esta rama final, donde se verían haciéndose cambios y transformaciones, hasta llegar al último nodo de todos, que sería la carga en el destino final Bale esto, a groso modo y a vista de pájaro cómo funcionaría aventajó y cómo se cómo funcionaría. Un vale. Entonces, un poco en tenemos Pen Tajo. Tenemos una estructura de proyecto, dividida básicamente en Iowa y transformaciones. Un joven sería un contenedor de transformaciones o de otros ojos que a su vez pueden contener otros. Yo, otras formaciones, y finalmente la transformación, el archivo cajón, sabe que sería donde tendríamos todos los pasos desde la lectura del origen de datos, pasando por su transformación y finalizando en la carga de datos. En el punto de destino, vale. Qué tal hasta aquí alguna duda entiendo que habrá que hacer un proceso por cada sea, si mañana una universidad o se incorpora habría que volver a hacer todo, todo para esa nueva universidad, la idea es adaptarlo, adaptar la antología eso, que significa, significaría que contemplaría la medida de lo posible todos los datos que dice la antología, de manera que si esto es adapta otra universidad. Lo único que habría que hacer sería conectar los orígenes de datos de la Universidad Bale, y donde haya datos se sacaran esos datos, y donde no haya datos aparecerá vacío. La idea es que no haya que crear nuevas transformaciones, puesto que ya estarán incluidas, porque la oncología, si lo dice otra cosa es que, por ejemplo, si vosotros estáis haciendo el proyecto adaptando este proyecto a la Universidad de Oviedo por decir algo, es decir, una, a lo mejor la Universidad de Murcia no tenía datos de gastos de proyecto, y la Universidad de Oviedo sí que los tienen entonces en el hotel. Ella debería detener una transformación que se encargue de incluir los datos de gastos de proyecto. La única diferencia es que para Murcia no había un origen de datos, y para la Universidad de Oviedo sí que lo va a haber que entrar en la transformación correspondiente y hacer los cambios oportunos. No sé si me explico más o menos, esa sería la idea, pero vamos, serían más temas de modificar lo que ya está hecho, más que incluir nueva transformaciones, bale en esta es un poco la la estructura como está organizado le vale luego finalmente una vez que estaría todo desarrollado, se ejecuta haciendo clic en el botón de ram vale que aquí se pueden configurar ciertos parámetros, pero, bueno, en principio solo será necesario darle al botón para ejecutarlo. Cuando cuando le dais a ejecutar lo que vais viendo es el progreso, vale con las distintas con distintos. Yo, si las distintas transformaciones. Y aquí debajo tenéis una consola que nos va diciendo si todo ha ido bien o o ha encontrado algún tipo de error. En este caso Bono. Acaba de dar un error, porque tengo que tener el proyecto con eclipse. El proyecto que estoy configurando antes con mi compañero, me está dando más lo mismo. En cualquier de capturas, para que veáis lo que ocurre, cuando se ejecuta por aquí expongo nada y yo para que veáis la estructura que tiene un ejemplo de transformación, aquí os pongo, bueno, pues para que veáis la transformación que está dividida en la parte de extracción, en la parte de transformación y en la parte de carga, vale para que veáis cada nodo de que de qué parte se encarga Bale. Bueno, aquí os comento la ejecución. Y os pongo una captura de la consola para que veáis cómo es una ejecución correcta. Básicamente lo que lo que vais viendo son los distintos los distintos nodos que tienen el guion principal, y si todo ha ido bien y se ha ejecutado correctamente, os lo pondría en verde, el se ha ejecutado correctamente. La ejecución ha sido satisfactoria y la la hora y la fecha de la ejecución vale. Luego, por otro lado, se puede ejecutar una transformación de forma independiente, vale, y la consola pues tendría esta tinta donde lo que vais viendo es cada cada uno de los nodos, y, bueno, dice los registros que se leen los registros que se escriben, el número de registros de salida. Si ha habido registros actualizados, rechazado, si ha habido errores, el tiempo que tarda en ejecutarse la velocidad a la que ha ido, digamos, un control detallado de todo el transcurso. Que los datos desde que salen del origen hasta ahora nos vale. Esto lo vamos a ver con calma. La siguiente sesión que haremos las ejecuciones para que lo que lo comprenda, es bien. No tengo una duda sobre esto para poder ubicarlo. Bien, esto coge datos y, claro, esto acaba en la base de la tristeza que nos has enseñado. No, realmente, los datos en sí los datos del proyecto se van a unas colas de Kafka comentaba antes, y de ahí automáticamente se. Comentaba mi compañero y se va a terminar el triple Store comentaba. Bueno, pues va siguiendo todo ese flujo de datos hasta llegar al frontal la base de datos. Si la base de datos es un almacenamiento temporal o almacenamiento intermedio, simplemente a modo de a modo de control para tener las distintas versiones y poder acceder a datos históricos por si fuera necesario, y esto es que han lanzado o que vamos a avanzar el próximo día, que lo lanza de manera automática, como se hacen de manera automática. Esto va a haber un proceso, va a haber un proceso que se llama mediante esta web que os pongo aquí bale bale. Esta web tiene una parte constante y luego, al final, tiene este versión Iguala y identificador de la versión con esta web, poniendo la versión correspondiente automáticamente en el que se va a ejecutar en su totalidad bale de forma automática, de modo que en condiciones normales, salvo que haya que entrar al detalle para evitar algo o para revisar si, por lo que fuera ha habido algún fallo, no será necesario, vale bale, pero la ejecución tal y como es la estoy enseñando. Yo ahora mismo, dándole al botón de Rahami, haciendo, clic en es simplemente una ejecución manual para que entendáis cómo funciona trabajo para que veáis cómo funciona, para que hagáis pruebas, etc. Pero la ejecución en condiciones normales, estará totalmente automatizada a través de un proceso y los, y los errores que se produzcan, los errores que se produzcan en la ejecución automática, hemos acabar empujando, eso acaba apareciendo en algún logro que nos has enseñado alguna manera de recuperar información correcta y diferentes formas de gestionar los errores. Es decir, los errores en Tajo los reporta. Vale una vez que están reportados. Lo que sé lo que se tiene que decidir es que se hace con esos errores, a dónde van a ir a para por el momento, los errores. Están almacenando algunos de los looks, y otros te sacan ventaja. Pues la propia pantalla vale, porque estamos, estamos desarrollando el proyecto y necesitamos tener visibilidad de esos errores sobre la marcha, pero a futuro se puede decidir donde se almacena Bale, si se quieren meter todos en un único modelo, si se quiere mandar por correo electrónico, a lo mejor tenéis una dirección de correo centralizada. La Universidad de Murcia destinada a gestionar los errores y pueden ir a parar ahí todos toda esa información vale eso bueno se puede decidir no podemos decidir futuro bale pero vamos la idea sería que toda esa información se encuentra centralizada y accesible, de forma fácil y cómoda bale. Sumó y cuando veamos ya más ejemplo, el próximo día podremos vender bien lo que se está realizando, algunas transformaciones de. Bueno, el próximo día tendremos que instalarnos también los programas que ha llamado tanta vih o algo así. Si necesitáis el necesita, tener funcionando bien. Todos los servicios de a los que habéis visto antes con mi compañero, que básicamente en lo que respecta a la base de datos, creo que los que respetarían sería si la base de datos, porque, bueno, pero Kafka, y creo que ya los tenía levantados se van a estar en ello bale bueno sería en principio lo que necesitaríamos para que para que ahora todo el sistema sea. Pero eso ya lo comenté lo que quiero, pero la base situada en otro sitio, pero guarda, nada, vale. No sé si tienes alguna pregunta. En principio ya es la hora que daría la última media hora de sesión. No queréis comentar os voy a dejar el cuerpo para que lo tengáis. Bueno, la siguiente sesión podemos aclarar, dudas y si tenéis alguna sin problema, momento ninguna. Cuando veamos otros ejemplos o lo pongamos en marcha, podremos entender que eran mucho más duras. Si no lo configure. Haremos todo lo que hemos podido, el local perfecta, muy bien. Cualquier problema que tengáis aquí estamos para resolver, eso no fue bueno, pues nada, un placer y seguiremos en contacto. Doy paso a mi compañero que va con la última parte de la sesión, así que Alberto le dejó en tus manos. No venga a un saludo, luego hacerlo. Gracias.

Propietarios

Proyecto Hércules

Comentarios

Nuevo comentario

Serie: Formación Jueves ASIO Izertis (+información)

Descripción

Videos