웹 로그에서 순 방문자 식별

Question

현재 기계 학습을 사용하여 웹 로그를 분석하는 프로젝트가 있습니다. 데이터를 청소하고 고유하다고 식별하려면 방문자이 사이트에 있습니다.

웹 로그를 다루는 데 많은 경험이 없지만 사용자가 방문 할 때 여러 파일 (예 : 아래 열 cs.uri.stem의 레코드)이 검색된 것을 알 수 있습니다.

내 질문에 대해 사용자가 여러 페이지 (예 : A 페이지의 링크에서 B 페이지로 이동)를 통과 한 경우는 어떻습니까? 그가이 사이트에서의 행동을 어떻게 알 수 있습니까?

또한 누구든지 웹 로그 분석에 유용한 훌륭한 파이썬 라이브러리를 제안 할 수 있습니까?

많은 감사를드립니다!

  date  time  s.ip cs.method cs.uri.stem                cs.uri.query s.port cs.username   c.ip sc.status sc.substatus sc.win32.status time.taken device   os   browser 
1 2014-08-05 00:00:03 10.130.0.12  GET/                     -  80   - 67.205.67.76  200   0    0  1391 Spider   Other PingdomBot_1.4 
2 2014-08-05 00:00:11 10.130.0.12  GET /about-the-hotel.aspx                -  80   - 70.56.59.43  200   0    0  1194  PC Mac_OS_X_10.8  Firefox_31.0 
3 2014-08-05 00:00:11 10.130.0.12  GET /~/media/Images/Hotel_ICON_revamp/about+us/a-hotel-unlike-any-others.ashx   -  80   - 70.56.59.43  200   0    0  976  PC Mac_OS_X_10.8  Firefox_31.0 
4 2014-08-05 00:00:12 10.130.0.12  GET /~/media/Images/Hotel_ICON_revamp/about+us/0713-ExComTeam.ashx      -  80   - 70.56.59.43  200   0    0  1620  PC Mac_OS_X_10.8  Firefox_31.0 
5 2014-08-05 00:00:12 10.130.0.12  GET /~/media/Images/Hotel_ICON_revamp/about+us/icon/vivienne-tam.ashx     -  80   - 70.56.59.43  200   0    0  1713  PC Mac_OS_X_10.8  Firefox_31.0 
6 2014-08-05 00:00:12 10.130.0.12  GET /~/media/Images/Hotel_ICON_revamp/about+us/icon/william-lim.ashx      -  80   - 70.56.59.43  200   0    0  2387  PC Mac_OS_X_10.8  Firefox_31.0 
7 2014-08-05 00:00:14 10.130.0.12  GET /~/media/Images/Hotel_ICON_revamp/about+us/icon/barney-cheng.ashx     -  80   - 70.56.59.43  200   0    0  2180  PC Mac_OS_X_10.8  Firefox_31.0 
8 2014-08-05 00:00:14 10.130.0.12  GET /~/media/Images/Hotel_ICON_revamp/about+us/icon/tommy-li.ashx      -  80   - 70.56.59.43  200   0    0  1146  PC Mac_OS_X_10.8  Firefox_31.0 
9 2014-08-05 00:00:14 10.130.0.12  GET /~/media/Images/Hotel_ICON_revamp/about+us/icon/yang-rutherford.ashx     -  80   - 70.56.59.43  200   0    0  869  PC Mac_OS_X_10.8  Firefox_31.0 
10 2014-08-05 00:00:14 10.130.0.12  GET /~/media/Images/Hotel_ICON_revamp/about+us/icon/justin_wong_img1.ashx    -  80   - 70.56.59.43  200   0    0  845  PC Mac_OS_X_10.8  Firefox_31.0 

Answer 1

pandas 라이브러리를 확인하는 것이 좋습니다. 팬더 (예 : here 참조)를 사용하여 데이터를로드 한 후에는 하나 또는 여러 열에 조건이 지정된 고유 한 요소 (예 : here)를 찾으려면 간단합니다.