짹짹 느낌과 좋아하는 것에 대한 여러 트위터 계정을 폴링

Question

현재 큰 번호를 가지고있는 유스 케이스 (Java, Spring에서 개발 됨)를 만들고 있습니다. 트위터 계정 (계정 수는 천명이 될 수 있음)으로 구성/예약 된 것처럼 데이터 (트윗)를 게시 할 수 있습니다.

트위터에 데이터 게시를 구현했지만 다양한 트위터 계정에서 트위터의 인상/리트 윗 및 좋아하는 것을 가져 오는 방법을 혼동합니다.

한 가지 해결책은 정기적 인 간격으로 모든 계정을 폴링하는 것입니다. 그러나이 경우 사용자를 사용하고 "since_id"매개 변수가있는 타임 라인 API를 언급하기 때문에 트윗에 좋아하는 사람이 없습니다. 항상 최신 트윗과 리트 윗을 가져 오므로 내 오래된 트윗에는 좋아하는 건 돌아 오지 마라.

또 다른 옵션은 스트리밍 API를 사용하는 것입니다.이 API는 내가 가지고있는 모든 트위터 계정에 대해 스트림을 열지 만 매우 큰 번호가 없기 때문에 가능하지 않습니다. 내 트위터 계정 중 내 자바 애플 리케이션은 그 많은 안돼을 처리 할 수있는 의심. 스트림의.

누군가가이 문제를 해결할 수있는 방법을 제안 해주세요. 도움을 주시면 대단히 감사하겠습니다.

Answer 1

당신의 문제는 디자인보다는 오히려 디자인에 의한 것 같고 "Java 애플 리케이션이 많은 스트림을 처리 할 수 ​​있을지는 의문입니다."

다른 방향으로 봅시다.

"빅 데이터"의 세계로 이동할 때입니다. 아파치 카파, 돼지, 하이브, 원사, 스톰, HBase, 하둡 etc.list는 압도적입니다. 이러한 MapReduce에서와 같은 개념을 지원

1. 아파치 스파크 대규모 데이터 처리에서 메모리 등에 처리, 스트림 처리, 그래프 처리
2. 스톰 센터에 의해 생성 된 사용자가 말할 수 카운터 부 아파치 인 폭풍.
3. Apache Kafka는 스트림을 수집하고 오류를 허용하는 방식으로 로그를 저장하고 버퍼링하는 브로커를 제공합니다.
4. 데이터 저장을위한 Hadoop. http://www.itworld.com/article/2827285/big-data/what-hadoop-can--and-can-t-do.html

행복한 디자인.