Twitter lanzará como código abierto a Storm, procesamiento en tiempo real de BackType
En Septiembre, durante la conferencia de Strange Loop, será el momento en el que Storm, de BackType, empresa que fue adquirida por Twitter hace un mes, se lance como código abierto, según anunció Twitter esta semana través de su blog. Y es que este movimiento hay que entenderlo ya que muchas de las tecnologías usadas en BackType son código abierto, como 
ElephantDB o Cascalog. Storm es un sistema tipo Hadoop pero basado en topologías, en el que no hay un punto de finalización de trabajos, con lo que se puede usar para el proceso continuo de datos.
Desde el blog de ingeniería de Twitter se resumen los casos en los que serán usados (tradución via Google Translate):
Procesamiento de flujos: Storm puede ser usado para procesar una secuencia de datos nuevos y actualizar bases de datos en tiempo real. A diferencia del enfoque estándar de hacer de procesamiento de flujo con una red de colas y de los trabajadores, Storm es tolerante a fallos y escalable.
Computación continua: Storm puede hacer una consulta continua y ofrecer los resultados a los clientes en tiempo real. Un ejemplo es la transmisión de temas de moda en Twitter en los navegadores. Los navegadores se tiene una vista en tiempo real sobre lo que los trending topics son como suceden.
Distribución RPC: Storm se puede utilizar para paralelizar una consulta intensa en el momento. La idea es que la topología de Storm es una función de distribución que se espera para los mensajes de invocación. Cuando se recibe una invocación, se calcula la consulta y devuelve los resultados. Ejemplos de RPC son distribuidos en paralelo las consultas de búsqueda o hacer operaciones de conjuntos en un gran número de grandes conjuntos.
Más información, con detalles técnicos, en su blog
Publicar un comentario