가능한 한 많은 파일 유형의 txt 콘텐츠를 검색합니다.

Question

저는 Delphi/Sql Server로 작성된 클라이언트 서버 DMS를 관리합니다.

사용자가 db에 저장된 모든 문서 내에서 문자열을 검색 할 수있게하고 싶습니다. (파일은 blob로 저장되며 공간을 절약하기 위해 압축 파일로 저장됩니다).

내 아이디어는 "checkin"에 색인을 붙이는 것이므로 nwe 파일을 저장하면 텍스트 정보가 모두 추출되어 새로운 DB 필드에 저장됩니다. 그래서 어떻게 든 내 파일 테이블은 다음과 같습니다

ID_FILE integer 
ZIPPED_FILE blob 
TEXT_CONTENT text field (nvarchar in sql server) 

나는 그런 적어도 가장 일반적인 텍스트와 같은 파일의 "색인"을 지원하고자

: PDF, TXT, RTF, 문서, DOCX, PDF가 될 수를 xls와 xlsx, ppt, pptx를 추가합니다.

MS Office 파일의 경우 alerady가 내 응용 프로그램에서 ActiveX를 사용할 수 있으므로 txt 파일의 경우 파일을 읽을 수 있지만 pdf 및 odt는 읽을 수 있습니까?

"가장 두려워하지 않는"모든 파일 유형을 구문 분석하는 최고의 techinque 또는 타사 구성 요소 (무료가 아님)를 제안 해 주시겠습니까?

감사

Answer 1

귀하의 주요 문제는 데이터베이스 자체로 그들에게 헤아릴 수없는 수 데이터베이스에 BLOB로 퍼팅하기 전에 파일을 압축하는됩니다. 나는 다음을 제안 할 것이다.

데이터베이스에 넣은 파일을 압축하지 마십시오. 디스크 공간이 쌉니다.

파일을 텍스트 필드에 저장하는 한 다음과 같은 쿼리를 작성할 수 있습니다.

Select * from MyFileTable Where MyFileData like '%Thing I am looking for%' 

이것은 느리지 만 작동 할 것입니다. 대부분의 파일 유형에있는 텍스트가 2 진 파일이 아니기 때문에 작동합니다 (최신 파일 유형 중 일부가 바이너리 임에도 불구하고).

당신은 그것을 넣을까요

모든 파일 형식을 "두려움없이"파싱 하시겠습니까?

Answer 2

이 방법으로 문서를 검색하는 것은 매우 느리고 불편하여 사용하기에 TEXT_CONTENT 필드 대신 두 개의 추가 테이블을 생성합니다.

텍스트를 구문 분석 할 때 귀중한 단어를 추출하여 표준화하여 - 대소 문자 문제를 제거하십시오. - 서로 교환 할 수있는 문자를 제거하십시오.
즉 터키에서는 c로 입력 할 수있는 ç 문자가 있습니다. - 다루는 언어에서 흔히 사용되는 동사를 제거하십시오. "내가 찾고있는 것", "존재하는 것" "찾고있는"것이 관심사가 될 수 있습니다. - 문제가있는 얼굴을 제거하십시오.

이미 테이블에 항목이있는 각 단어는 string_search 테이블에 이미 지정된 ID를 다시 사용해야합니다.

레코드는 다음과 같이 보일 수 있습니다. original_file_table zip_id 번호 zip_file 블롭

string_search str_id 번호 standardized_word 텍스트 (또는 적절한 보조 인덱스 문자열 타입)

file_string_reference zip_id 번호 str_id 번호

나는 내가 줄 수 있기를 바란다. 너 내가 생각하고있는 생각이야.