Perl DBI Postgresql : 거기에있는 데이터에 대해 undef를 반환합니다.

Question

나는 매우 이상한 결과를 얻고 있습니다. 나는 행을 postgresql 데이터베이스 테이블에 존재하는지 확인하고 첫 번째 루프에서 실제 값을 얻는 지 확인하려고합니다. 루프의 두 번째 반복과 거기에있는 모든 반복에서 undef를 얻습니다. 왜? 내가하지 말아야 할 일이 있습니까? 나는 준비를 사용하지 않기 때문에 마무리 등을하지 않아도됩니다.

어떤 통찰력이라도이 문제를 디버그하는데 크게 도움이 될 것입니다.

죄송합니다. 지금은 코드가 너무 심해요. 나는 디버깅 사냥을하고 꽤 못생긴 것들을 만들었습니다.

추악한 샘플 출력에 대해서도 죄송합니다. stackoverflow 함께 잘 형식을 지정하는 방법을 모르겠습니다.

샘플 출력에서 ​​"이름 선택"출력물을 사용하지 마십시오. 첫 번째 반환 이후의 모든 반복은 undef를 반환합니다. 해당 SQL 호출이 파일의 끝을 향하고 있습니다.

#!/usr/bin/perl 

use LWP::Simple;    # From CPAN 
use JSON qw(decode_json);  # From CPAN 
use JSON::Parse 'parse_json'; 
use Data::Dumper;    # Perl core module 
use HTML::TreeBuilder 5 -weak; 
use Mojo::DOM; 
use DBI; 
use String::Util qw(trim); 
use strict;      # Good practice 
use warnings;     # Good practice 

my $initialize = 0; 
my $debug = 1; 

&main; 

sub main { 
    my $dbh = connect2db(); 

    unless(defined($dbh)) { 
     exit 1; 
    } 


    my $trendsurl; 

    my $sth = $dbh->prepare("SELECT company_name from companies where active=1"); 
    $sth->execute; 
    while(my $company = $sth->fetchrow_hashref()) { 
     #print Dumper($company)."\n"; 

     my $sth2 = $dbh->prepare("SELECT url from crawlers where company_name='$$company{'company_name'}' "); 
     $sth2->execute; 
     while(my $url = $sth2->fetchrow_hashref()) { 
      #print " NOW ON URL $$url{'url'} ##########\n"; 
      $trendsurl = $$url{'url'}; 
      chomp($trendsurl); 
      $trendsurl = trim($trendsurl); 
      print "URL: ".$trendsurl."\n"; 

      my $json = get($trendsurl); 
      die "Could not get $trendsurl!" unless defined $json; 

      my $parsed_json = parse_json($json); 
      my $items = $parsed_json->{'sections'}[0]->{'items'}; 

      foreach my $item_hash (@$items) { 
       #print Dumper($item_hash)."\n"; 
       my $category = $item_hash->{'name'}; 
       print "Lip Product Category: $category\n"; 

       foreach my $item (@{ $item_hash->{'items'} }) { 
        print Dumper($item)."\n"; 

        my $selectSQL = "select name from crawler_url where url='http://www.maccosmetics.com$item->{'uri'}' "; 

        print $selectSQL."\n" if($debug); 

        my ($productCount) = $dbh->selectrow_array($selectSQL); 

        my $date = localtime; 
        chomp($productCount); 
        trim($productCount); 
        chomp($item->{'name'}); 
        trim($item->{'name'}); 

        print "Select Name: '$productCount'\n"; 
        print "Item Name: '$item->{'name'}'\n"; 
        print "Do they equal: ", index($productCount, $item->{'name'}), " \n"; 

        print Dumper($productCount); 

        if(index($productCount, $item->{'name'}) == -1) { 
         my $insertSQL = "insert into crawler_url (first_seen,url,name,category,last_checked) values ('$date','http://www.maccosmetics.com$item->{'uri'}','$item->{'name'}','$category','$date') "; 
         print $insertSQL."\n" if($debug); 
         my $retVal = $dbh->do($insertSQL); 

         $insertSQL = "insert into urls (company_name,url) values ('$$company{'company_name'}','http://www.maccosmetics.com$item->{'uri'}') "; 
         print $insertSQL."\n" if($debug); 
         $retVal = $dbh->do($insertSQL); 
        } 
        else { 
         #We have seen this before 
         my $updateSQL = "update crawler_url SET (url,name,category,last_checked) = ('http://www.maccosmetics.com$item->{'uri'}','$item->{'name'}','$category','$date')"; 
         print $updateSQL."\n" if($debug); 
         my $retVal = $dbh->do($updateSQL); 
        } 
       } 
      } 
     } 
    } 
} 

sub connect2db { 
    return DBI->connect("dbi:Pg:dbname=xxxxxx", "xxxxx", "XXXXXX"); 
} 

샘플 출력 :이 라인을

my $selectSQL = "select name from crawler_url where url='http://www.maccosmetics.com$item->{'uri'}' "; 

펄 코드이다

URL: http://www.maccosmetics.com/includes/panel_nav/catalog.js?CATEGORY_ID=CAT163&LOCALE=en_US 

Lip Product Category: Lipstick 

$VAR1 = { 
    'uri' => '/product/shaded/168/310/Products/Lips/Lipstick/Lipstick/index.tmpl', 
    'description' => 'Colour plus texture for the lips. Stands out on the runway...', 
    'name' => 'Lipstick', 
    'thumbnail' => '/images/products/56x56/M300.jpg', 
    'header' => '/images/pnav/product/headers/pnav_M300_200x12_off.gif', 
    'id' => 'CAT168PROD310' 
}; 

select name from crawler_url where url='http://www.maccosmetics.com/product/shaded/168/310/Products/Lips/Lipstick/Lipstick/index.tmpl' 

Select Name: 'Lipstick                              ' 

Item Name: 'Lipstick' 


Do they equal: -1 

$VAR1 = 'Lipstick                              '; 
update crawler_url SET (url,name,category,last_checked) = ('http://www.maccosmetics.com/product/shaded/168/310/Products/Lips/Lipstick/Lipstick/index.tmpl','Lipstick','Lipstick','Wed Jan 28 21:15:40 2015') 

$VAR1 = { 
     'id' => 'CAT168PROD34492', 
     'thumbnail' => '/images/products/56x56/MX5G8N.jpg', 
     'header' => '/images/pnav/product/headers/pnav_MX5G8N_200x12_off.gif', 
     'description' => "Miley Cyrus\x{2019}s shade of VIVA GLAM Lipstick. Her super-sexy hot...", 
     'name' => 'VIVA GLAM Miley Cyrus Lipstick', 
     'uri' => '/product/shaded/168/34492/Products/Lips/Lipstick/VIVA-GLAM-Miley-Cyrus-Lipstick/index.tmpl' 
    }; 

select name from crawler_url where url='http://www.maccosmetics.com/product/shaded/168/34492/Products/Lips/Lipstick/VIVA-GLAM-Miley-Cyrus-Lipstick/index.tmpl' 

Select Name: '' 

Item Name: 'VIVA GLAM Miley Cyrus Lipstick' 


Do they equal: 0 

$VAR1 = undef; 

insert into crawler_url (first_seen,url,name,category,last_checked) values ('Wed Jan 28 21:15:40 2015','http://www.maccosmetics.com/product/shaded/168/34492/Products/Lips/Lipstick/VIVA-GLAM-Miley-Cyrus-Lipstick/index.tmpl','VIVA GLAM Miley Cyrus Lipstick','Lipstick','Wed Jan 28 21:15:40 2015') 

insert into urls (company_name,url) values ('MAC                ','http://www.maccosmetics.com/product/shaded/168/34492/Products/Lips/Lipstick/VIVA-GLAM-Miley-Cyrus-Lipstick/index.tmpl') 

$VAR1 = { 
     'uri' => '/product/shaded/168/34798/Products/Lips/Lipstick/Isabel-and-Ruben-Toledo-Lipstick/index.tmpl', 
     'description' => 'Formulated to shade, define and showcase the lips in a rouge-y...', 
     'name' => 'Isabel and Ruben Toledo Lipstick ', 
     'header' => '/images/pnav/product/headers/pnav_MWWE1T_200x12_off.gif', 
     'thumbnail' => '/images/products/56x56/MWWE1T.jpg', 
     'id' => 'CAT168PROD34798' 
    }; 

select name from crawler_url where url='http://www.maccosmetics.com/product/shaded/168/34798/Products/Lips/Lipstick/Isabel-and-Ruben-Toledo-Lipstick/index.tmpl' 

Select Name: '' 


Item Name: 'Isabel and Ruben Toledo Lipstick ' 

Do they equal: 0 

$VAR1 = undef; 

insert into crawler_url (first_seen,url,name,category,last_checked) values ('Wed Jan 28 21:15:40 2015','http://www.maccosmetics.com/product/shaded/168/34798/Products/Lips/Lipstick/Isabel-and-Ruben-Toledo-Lipstick/index.tmpl','Isabel and Ruben Toledo Lipstick ','Lipstick','Wed Jan 28 21:15:40 2015') 

insert into urls (company_name,url) values ('MAC                ','http://www.maccosmetics.com/product/shaded/168/34798/Products/Lips/Lipstick/Isabel-and-Ruben-Toledo-Lipstick/index.tmpl') 

업데이트 : 나는 $dbh->do 호출하기 전에 next을 넣었을 때 내가 기대하는 결과를 얻을 수 . 그래서 그것은 $dbh->do($insertSQL) 또는 $dbh->do($updateSQL)과 관련이 있습니다. 제 2 인터뷰에서 $dbh->selectrow_array($selectSQL)을 다시 사용하기 전에 다른 전화를해야할까요? 그렇다면 왜?

Answer 1

정말 $ sth2-> finish()를 추가해야합니다. inner while 루프의 끝에서 $ sth-> finish(); 바깥 쪽 while 루프 후에. 내부 루프에서 완료를 수행하지 않으면 첫 번째 반복이 작동하지만 모든 후속 반복이 발생하지 않을 수 있습니다.

stash에서 마무리 작업을 수행하지 않는 것이 좋지만, 중첩 된 페치가없는 경우 일반적으로 벗어날 수 있습니다. 상응하는 완료없이 페칭을 중첩하면 설명하는 정확한 문제가 발생합니다.