Dudas generales arquitectura del TP

[nicolasrey9]

Buenas, perdon por molestar durante el receso pero queria plantear unas dudas que me surgieron de la arquitectura del TP. Si bien todavia no tuve la defensa de la 3er entrega me parecio bueno plantearlo por aca por si alguien mas tiene estas dudas.

1. En la discusion Nodo - Consulta de enunciado. #513 se dice 'En un nodo podés tener colecciones y agregadores, colecciones y fuentes estaticas, fuentes proxy, agregadores que combinan proxys y demos o cualquier otra combinación que quieras de estos objetos.' Siento que esto va en contra del diagrama de despliegue inicialmente planteado que dice que entre el agregador y las fuentes de distintos tipos se comunican a traves del protocolo MetaMapa (API REST). Ademas se me dificulta imaginarme como levantaria fuentes de distinto tipo en un mismo nodo porque segun la implementacion que teniamos prevista estos constituirian diferentes JARs.
2. en la práctica el servicio de agregación constará de todas las fuentes de todos los nodos desplegados en una organizacion o no necesariamente?
3. entiendo que la fuente proxy MetaMapa es capaz de conectarse a cualquier fuente de otra instancia de MetaMapa no? (me refiero a conectarse a una fuente estática por ejemplo)
4. en caso de que pueda conectarse a la API de una fuente estática de otra instancia en una organización externa. El endpoints GET /hechos, debería traerte los hechos de todas las fuentes estáticas de esa organización externa?. Está pregunta también va por el lado de si en un "nodo" de fuentes estáticas corren N o 1 sola fuente estática propiamente (actualmente una fuente estática está atada a un archivo en nuestra implementación). Esto también abre la pregunta de si en una organización puede correr más de un servicio de fuente estática, fuente dinámica y fuente proxy. (esto esta muy relacionado con el punto 1)
5. En la entrega 2 se nos habia planteado consumir el endpoint GET /colecciones/:identificador/hecho, queria saber si las colecciones son transversales a todas las instancias de metamapa de todas las organizaciones o son propias de la organizacion o propias del nodo.

Espero que se hayan entendido las dudas y buen receso!

Adjunto diagrama del que hablo:

[flbulgarelli]

¡Hola @nicolasrey9!

Son buenas preguntas.

En la discusion #513 se dice 'En un nodo podés tener colecciones y agregadores, colecciones y fuentes estaticas, fuentes proxy, agregadores que combinan proxys y demos o cualquier otra combinación que quieras de estos objetos.' Siento que esto va en contra del diagrama de despliegue inicialmente planteado que dice que entre el agregador y las fuentes de distintos tipos se comunican a traves del protocolo MetaMapa (API REST).

En primer lugar, no, no lo contradice: el diagrama de despliegue inicial planteado es unicamente un caso particular, una posible forma de tomar los componentes que estás desarrollando y desplegarlos a lo largo de varias computadoras, en una arquitectura distribuida. En esa arquitectura hay, por ejemplo, un componente agregador (casi con seguridad un objeto, instancia de una clase Agregador, que a su vez implementa la interfaz Fuente) que vive en un nodo homónimo. Por otro lado, hay un nodo que contiene a una única fuente de datos estática. Pero nada impediría que construyas un nodo que tenga, por ejemplo, dos instancias de la clase Agregador y ocho de la clase FuenteEstática, cada una apuntando a diferentes archivos

Ademas se me dificulta imaginarme como levantaria fuentes de distinto tipo en un mismo nodo porque segun la implementacion que teniamos prevista estos constituirian diferentes JARs.

No tienen por qué ser diferentes JARs. En este momento estamos construyendo tan sólo una biblioteca de componentes, y aún no hemos hecho un despligue en más de una computadora. Es posible que termines construyendo un JAR diferente para cada nodo, pero esos JARs podrían utilizar las mismas clases. En otras palabras, una cosa es la biblioteca de componentes que estamos desarrollando en estas primeras 3 entregas, y otra cosa serán los N puntos de entrada que desarrolles en la entrega de Arquitectura Web.

Con esto no te estoy diciendo que está mal que trates de levantar exactamente el despliegue planteado en el contexto, pero me parece importante que entiendas que es tan solo un ejemplo. No podría ser de otra forma: el planteo inicial del proyecto es que queremos darle la posibilidad a distintas ONGs y organismos de levantar su instancia de MetaMapa, pero ¿sería esto realista si obligaramos a cada una de estas organizaciones, las cuales cuentan probablemente con recursos limitados, a desplegar una arquitectura tan compleja y costosa? ¿No sería mejor si ofreciéramos distribuciones que puedan ejecutarse en infraestructuras más baratas, con menos nodos o incluso en una sola computadora?

Por estos motivo el TP está planteado no como una arquitectura de microservicios (tema que desarrollaremos más adelante) sino como una biblioteca de componentes, los cuales usaremos luego para crear algunos despliegues particulares (a desarrollar también más adelante).

[flbulgarelli]

en la práctica el servicio de agregación constará de todas las fuentes de todos los nodos desplegados en una organizacion o no necesariamente?

No necesariamente: sólo agregará algunas fuentes (que pueden estar en el mismo nodo, en otros nodos o una combinación de ello). ¿Cuáles fuentes? Las que desees / necesites / tenga sentido agregar dentro de una sola fuente "lógica".

[flbulgarelli]

entiendo que la fuente proxy MetaMapa es capaz de conectarse a cualquier fuente de otra instancia de MetaMapa no? (me refiero a conectarse a una fuente estática por ejemplo)

Correcto.

[nicolasrey9]

muchas gracias, bastante clarificador, mi error estaba en ver al TP como una arquitectura de microservicios unicamente. Por eso decia lo de los multiples pom.xml, sin embargo me surgieron otras dudas:

el planteo inicial del proyecto es que queremos darle la posibilidad a distintas ONGs y organismos de levantar su instancia de MetaMapa, pero ¿sería esto realista si obligaramos a cada una de estas organizaciones, las cuales cuentan probablemente con recursos limitados, a desplegar una arquitectura tan compleja y costosa? ¿No sería mejor si ofreciéramos distribuciones que puedan ejecutarse en infraestructuras más baratas, con menos nodos o incluso en una sola computadora?

Aun asi tengo entendido que si bien no es lo ideal podrias desplegar todos los microservicios en un solo servidor/nodo, y asi no obligar a las otras organizaciones a levantarlo en N nodos. E incluso hacer esto te podria ahorrar levantar un microservicio de service discovery tal vez, ya que con docker podrias levantarlos a todos en la misma red y resolverian sus hostnames. Esto tendria mucho mas overhead que un monolito?

Por estos motivo el TP está planteado no como una arquitectura de microservicios (tema que desarrollaremos más adelante) sino como una biblioteca de componentes, los cuales usaremos luego para crear algunos despliegues particulares (a desarrollar también más adelante).

entiendo que como se dice sera un tema que se va a tratar mas adelante. Pero no me termino de imaginar/entender las implicancias que tiene lo que estamos desarrollando (una biblioteca de componentes). Entiendo que una podria ser que a diferencia de los microservicios no tendremos forzosamente un pom por cada servicio que levante un JAR independiente.

si dije algo errado en relacion a microservicios, java, docker, jars, etc. Por favor hacermelo saber.

[flbulgarelli]

Esto tendria mucho mas overhead que un monolito?

Exacto. Pensá que cada servicio, así como lo planteás tendría el costo inicial de memoria (memory footprint) propio de la JVM y todos los otros objetos que tu sistema levanta, que dependiendo de muchos factores probablemente ante entre los 150 y 350MB (valores muy estimativos para aplicaciones servidor, pero útiles para entender que no estamos hablando de cientos de KB sino de decenas o cientos de MB). Cada proceso levantado pagaría ese costo, con lo que si levantás 5 procesos podrías tranquilamente estar desperdiciando 1GB de memoria.

[flbulgarelli]

Termino de responder esto: un aspecto importante de la arquitectura de micro servicios (tema a tratar en el segundo cuatrimestre) es que cada uno de los micro servicios tienen una responsabilidad muy bien definida pero no hacemos suposiciones sobre como están implementandos: es común que cada uno use un stack tecnológico diferente.

Acá en camino estamos proponiendo hacer una biblioteca en Java, por lo que eso ya implicaría que todos los microservicios se desarrollen bajo la misma tecnología (e incluso mismas dependencias), lo cual entra en tensión con lo que dije antes.

Además, acá cada nodo no cumple necesariamente otra responsabilidad ni tiene una tarea claramente definida, sino que todos potencialmente podrían cumplir las mismas responsabilidades pero con conjuntos de datos y equipos administrativos diferentes.

Por todo esto es que estamos evitando hablar en términos de microservicios.

[flbulgarelli]

en caso de que pueda conectarse a la API de una fuente estática de otra instancia en una organización externa. El endpoints GET /hechos, debería traerte los hechos de todas las fuentes estáticas de esa organización externa?.

Si hubiera tal ruta, debería traerte todos los hechos de ese nodo, mas allá de si su fuente es estática, dinámica, agregadora, proxy o de otro tipo. De todas formas, no es un problema para esta entrega porque no estamos aún exponiendo los datos vos HTTP, solo consumiendo.

Está pregunta también va por el lado de si en un "nodo" de fuentes estáticas corren N o 1 sola fuente estática propiamente (actualmente una fuente estática está atada a un archivo en nuestra implementación).

Un nodo puede correr tantas fuentes como quieras, de los tipos que quieras. Eso depende de como vos construyas y despliegues tus nodos.

Esto también abre la pregunta de si en una organización puede correr más de un servicio de fuente estática, fuente dinámica y fuente proxy. (esto esta muy relacionado con el punto 1)

Por lo anterior, sí, puede.

En la entrega 2 se nos habia planteado consumir el endpoint GET /colecciones/:identificador/hecho, queria saber si las colecciones son transversales a todas las instancias de metamapa de todas las organizaciones o son propias de la organizacion o propias del nodo.

Son propias de cada nodo, al igual que las fuentes.

[nicolasrey9]

Muchas gracias!