Spark, un projet Open Source Big Data de la fondation Apache, vient de recevoir un soutien de poids. IBM a en effet décidé d’intégrer cette offre à ses solutions, mais aussi de supporter la communauté Spark.

Spark, qui fonctionne sur un cluster de serveurs, permet de traiter les données jusqu’à 100 fois plus rapidement que Hadoop, et ce du fait de l’utilisation de la technologie In-Memory, c'est-à-dire de la mémoire vive des serveurs en lieu et place du stockage classique.

Et vu la masse de données générées par les projets de Big Data, un peu plus de performance au niveau de l’architecture de calcul devient rien moins que nécessaire pour tendre vers le Graal : le traitement des données en temps réel.

Il s’agit du «plus important nouveau projet Open Source de la décennie » dans le secteur du traitement de données affirme laudateur IBM à propos de Spark. Big Blue va l’intégrer à ses offres d’analytique et de e-commerce, mais aussi à Watson Health Cloud sur le PaaS Bluemix. Au-delà de la visibilité apportée par IBM à Spark, la communauté s’enrichie des contributions de 3 500 développeurs maison, répartis dans 12 laboratoires. Enfin SystemML, la technologie de Machine Learning d’IBM, passe en Open Source, et doit pouvoir ainsi profiter à l’écosystème Spark.