decode_utf8은 실행 시간을 소모합니다.

Question

다음은 속도를 향상시키기 위해 노력한 코드 조각입니다.

use strict; 
use warnings; 
use Encode; 

open(IN,"<utf8",$ARGV[0]) or die "Cannot open $ARGV[0]:$!\n"; ##treat it as a huge data of 35,000 lines in devnagari script. 
my @in = <IN>; 
close(IN); 

my $key = "अच्छा"; #key to be matched contains devanagari script as a string 

foreach my $in(@in) { 
    chomp($in); 
    $key = decode_utf8($key); 
     $in = decode_utf8($in); 
    if($key eq $in) { 
     print "$key: matched\n"; 
    } 
    else { 
     print "Not matched\n"; 
    } 
} 

파일의 줄을 키와 일치 시키려고합니다. 내 코드를 프로파일 링하면 다음과 같은 결과가 나타납니다.

결과 decode_utf8 시간의 34 %를 소비하도록한다. 데이터가 utf8이므로 decode_utf8을 사용했습니다.

여기서 속도를 향상 시키려면 어떻게해야합니까? 코드에서 decode_utf8을 유니 코드 데이터와 일치시키는 다른 해결 방법.

Answer 1

결과 decode_utf8은 34 %의 시간을 소비합니다.

글쎄, 기본적으로 프로그램이하는 모든 것입니다.

더 중요한 것은 코드가 버그입니다. 이전에 디코딩 된 문자열을 디코딩하고 있습니다!

• 파일을 읽을 때 (:utf8 통해) 파일 내용을 디코딩 한 다음 이미 디코딩 된 내용을 루프에서 디코딩합니다.
• 루프를 통과 할 때마다 $key의 내용을 디코딩하므로 네 번째 패스에서는 decode_utf8(decode_utf8(decode_utf8(decode_utf8($key))))을 사용합니다.

수정이 너무 다른 문제를 해결

use utf8;        # Source code encoded using UTF-8.  
use open ':std', ':encoding(UTF-8)'; # Term provides and expects UTF-8. Default for files. 

use strict; 
use warnings; 

my $key = "अच्छा"; 

my $found = 0; 
while (my $line = <>) { 
    chomp($line); 
    if ($line eq $key) { 
     $found = 1; 
     last; 
    } 
} 

if ($found) { 
    print "Match found\n"; 
else { 
    print "No match\n"; 
} 

:

• 는 출력 인코딩 (사용 use open ':std').
• 불필요하게 전역 변수를 사용하지 않습니다. open IN 대신 open my $IN을 사용하십시오.
• 불필요하게 전체 파일을 메모리에로드하지 않습니다.
• 불필요하게 전체 파일을 읽지는 않습니다.
• Not matched 키가 발견되면 34,999 번 인쇄되지 않습니다.
• :utf8을 사용하지 않으려면 :encoding(UTF-8)을 사용하십시오.
• <>을 재발 명하지 마십시오.
• 줄 중간에 die을 숨기지 않습니다. (or die 앞에 줄 바꿈을하십시오.)
• "할 수 없습니다"는 사용하지 마십시오. ("사용할 수 없습니다!")