Spark에서 아랍어 텍스트 분석을 지원합니까?

Question

아랍어 트윗을 분석하고 싶습니다. 스파크가 아랍어를 지원합니까?

Answer 1

스파크 자체는 어떤 언어도 처리하거나 분석하지 않습니다. 여기에는 정서 분석과 같은 기본 NLP (자연 언어 처리) 기능이 없으므로 다른 라이브러리/프레임 워크를 사용해야합니다.

스파크 스트리밍을 사용하면 안정적인 분산 방식으로 문자열 집합을 수집 할 수 있습니다. UTF-8 (스파크와 트위터의 기본값 임)을 사용하는 한 트위터 메시지는 그대로 보존됩니다.