El uso de tecnología BitTorrent hace los procesos entre servidores de Twitter 75 veces más rápidos

La red de microblogging Twitter, ha puesto en marcha un proyecto basado en BitTorrent denominado Murder, que mejorará la rapidez de distribución entre servidores hasta en un 75 por ciento.

Para que la información en tiempo real fluya entre los millones de usuarios de Twitter, son necesarios miles de servidores. Además para la gestión de este flujo tan alto de datos es necesario tiempo y recursos, ya que se ponen a funcionar múltiples iteraciones de código y binarios en todos los servidores de forma regular.

Hasta ahora se ha utilizado un sistema de servidores Git con interface gráfica, para descargar las últimas versiones del código desde el servidor principal y servirlo.

Git es un software de control de versiones diseñado pensando en la eficiencia y confiabilidad del mantenimiento de aplicaciones con un importante número de archivos de código.

Este sistema Git ha funcionado bien en Twitter hasta ahora, pero a partir de la utilización de cientos de servidores, la escalabilidad comenzó a suponer un problema ya que la actualización de datos se ralentizaba.

Se estudiaron varias posibles soluciones como replicar el repositorio Git o que la actualización fuera por partes, pero estos cambios no podrían ser una solución duradera y en el futuro al escalar el sistema volvería a repetirse el mismo problema.

Era necesaria una solución descentralizada y con la elección del protocolo de intercambio de BitTorrent, se ha llevado a cabo el proyecto Murder -anunciado el pasado mes de febrero-, consiguiendo que un proceso que antes duraba 40 minutos dure 12 segundos.

Credit: Twitter.

Murder es una combinación de scripts escritos en Python y Ruby, que permiten la implementación de un gran número de binarios a través de los centros de datos.

Este sistema permite a Twitter distribuir los archivos más rápida y eficientemente ganando tiempo de respuesta y ahorrando recursos, además de que elimina el problema que tendría de escalabilidad en el futuro.

La estructura en el interior de un centro de datos tiene unas particularidades especiales como la baja latencia en el acceso a los servidores, un importante ancho de banda, o no existe un firewall interno entre otras cosas y esto permite alcanzar un nivel de optimización importante utilizando la tecnología del cliente BitTornado.

El software del proyecto Murder ha sido liberado bajo licencia libre Apache.

Descargar proyecto: Murder.

La tecnología de BitTorrent va camino de convertirse en un estándar para grandes redes que necesitan actualizar sus servidores rápida y eficientemente.

BitTorrent también es utilizado por otros grandes servicios como Facebook. Esto demuestra que las tecnologías P2P no son tan perjudiciales como algunos lobbies de poder quieren hacer creer, simplemente son tecnologías que tienen una función que es aprovechada por cada uno según sus necesidades.

Si no visualizas correctamente este vídeo en tu navegador, accede directamente a el en.