Yelp的数据管道开源了:ETL已死,实时流技术永生?
技术文章 / 2017-10-18

这一系列文章原发表于Yelp的技术博客,经Yelp授权,由InfoQ中文站社区编辑足下翻译并分享。 在过去的几个月里,Yelp一直在不断地向大家分享着他们的数据管道的情况。这是一套基于Python的工具,可以实时地将数据流向需要它们的服务,并随之加以必要的数据处理。这一系列的文章讲述了如何从MySQL中将消息复制出来、如何跟踪模式的变化及演进、并最终分享了如何把数据接入到Redshift和Sale…

用Kafka建立实时流数据管道
技术文章 / 2017-10-17

来自 Confluent的Confluent Platform 3.0消息系统支持使用Kafka Streams实现实时的数据处理,这家公司也是在背后支撑Apache Kafka消息框架的公司,它最新的开源平台已经达到了通用发布(general availability)版本。Confluent Platform可以围绕Apache Kafka创建可扩展的数据平台,Apache Kafka是一个实…