스파크 스트리밍을 사용하는 적색 변속

Question

나는 분당 60,000 개의 이벤트를 처리하고 처리 할 수있는 Kafka - Spark Streaming 응용 프로그램을 보유하고 있습니다. 시각화 레이어를 통해 변환 된 데이터 프레임을 저장하기위한 데이터베이스가 필요합니다. Spark Streaming으로 Redshift를 사용할 수 있습니까? 아니면 Cassandra를 사용해야합니까? 30 초 동안 모든 스파크 윈도우에 데이터 프레임을 처리하고 저장합니다. 또한 모든 창에서 데이터 저장소를 읽어야합니다. Redhsift는 OLTP 일종의 데이터웨어 하우징 데이터베이스가 아닙니다. 어떤 아이디어입니까?

Answer 1

SnappyData을 확인해야합니다. SnappyData는 하이브리드 OLTP/OLAP 응용 프로그램을 허용하는 Spark과 메모리 내 데이터베이스를 깊이 통합합니다. Snappy 위에 Spark Streaming 응용 프로그램을 작성하여 데이터베이스에서 데이터를 업데이트/삭제할 수 있습니다. 또한 커넥터를 거치지 않으므로 performs better보다 the myriad datastores에 Spark 커넥터가 있고 기본 Spark 캐시도 있습니다. 위에서 언급 한 링크에서 Spark에 하이브리드 OLTP/OLAP 응용 프로그램을 제공하는 다른 데이터 저장소가있을 수 있습니다.

면책 조항 : SnappyData 직원입니다.