Disponible dorénavant en beta, Cloud Dataflow permet d'analyser les données provenant de flux temps réel.
Le service permet d' analyser des données stockées sur un disque, en mode batch, tout en ayant un regard sur les analyses passées et historiques dans un même workflow.
Le service permet à tout programmeur Java ou Python d'écrire des applications utilisant le big data. Cela permettra de tourner des jobs end-to-end au travers de sets de données très complexes
Après avoir rendu DataFlow disponible dans un programme de beta ouverte, Google a également mis à jour son service BigQuery. Ce dernier comprend une interface SQL pour les larges datasets non structurées.
Grâce à cette mise à jour, Google a amélioré son service de manière à ce qu'il soit en mesurer d'ingérer, par table, jusqu'à 100 000 colonnes par seconde.
BigQuery est dorénavant ouvert aux clients européens. Les données sont d'ailleurs stockées dans des datacenters localisés en Europe dans le but entre autre de rassurer les entreprises et de répondre aux exigences en termes de souveraineté européenne des données.
Certaines règles ont été ajoutées comme restreindre l'accès à des informations, qui seront basées sur des identifiants utilisateurs. Cette sécurité permet aux organisations de protéger des portions de données, comme des noms, adresses.
La spécificité de BigQuery et Dataflow, est qu'ils peuvent être utilisés l'un avec l'autre. Il est possible d'utiliser Cloud Dataflow pour du traitement et BigQuery pour analyser.