0
데이터를 추출하여 phpmyadmin (wampServer)으로 만든 데이터베이스에 직접 쓰려고합니다. 매일 매일 데이터가 커지고 있습니다. 앞으로도 을 보관해야하므로 며칠 동안 prorammcode를 실행할 것입니다. 그리고 지금 내 문제 : 어떻게 동일한 항목을 막을 수 있습니까? 이름, ID 및 URL을 사용해 보았습니다. 문제는 일부 데이터의 ID가 동일하다는 것입니다. 이름을 쓰면 SQL 구문의 구문 - 예외 원인 (많은 이름에 ";", "" ","\ ","` ",": "과 같은 문자가 과 같이 있습니다. 어려움) 그리고 URL을 사용하면 오류가 발생하지 않지만 이중 항목이 많습니다. 존재하는 모든 데이터가 이미 데이터베이스에 저장되는 것은 아니지만 일부 데이터 만 차단할 수 있습니다. 나는이 문제를 해결할 수 있습니다 여기에 Jsoup, MySQL : JavaCode를 통한 데이터베이스에서 doubleEntries를 방지하는 방법
내 programmCode이다?.package htmlParser;
import java.io.File;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.io.FileInputStream;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStream;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.ArrayList;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import data.DatenBank_Steam_Spiele;
import data.Spiel;
public class Steam_GameID_Links
{
public ArrayList<Spiel> spiele;
public final static String DELIMITER = "Trennzeichen";
static final String JDBC_DRIVER = "com.mysql.jdbc.Driver";
static final String myDatabase = "jdbc:mysql://localhost:3306 /Steam_Spiele";
public static void main(String[] args) throws SQLException, ClassNotFoundException
{
Connection conn = null;
Statement stmt = null;
Steam_GameID_Links wc = new Steam_GameID_Links();
try
{
Class.forName(JDBC_DRIVER);
conn = DriverManager.getConnection(myDatabase, "root", "");
System.out.println("Verbindung erfogreich hergestellt");
String url = "http://store.steampowered.com/search/?sort_by=_ASC&category1=998&page=1";
Document document = Jsoup.connect(url).get();
Elements howMuchPages = document.select(".search_pagination_right");
String[] stuff = howMuchPages.text().split(" ");
String tmp = stuff[4].replace(" ", "").replace(".", "");
StringBuilder sb = new StringBuilder();
for(int i = 0; i < tmp.length(); i++)
{
if(Character.isDigit(tmp.charAt(i)))
{
sb.append(tmp.charAt(i));
}
}
String last = sb.toString().trim();;
int lastPages = Integer.parseInt(last);
int counter = 0;
wc.spiele = new ArrayList<>();
for(int i = 1; i < lastPages + 1; i++)
{
System.out.println("______________________ SpieleAngebot Seite " + i + " von insgesamt " + lastPages
+ " Seiten.");
url = "http://store.steampowered.com/search/?sort_by=_ASC&category1=998&page=" + i;
// ACHTUNG: ohne timeout(0) kann der AusleseProzess VORHER abbrechen (dauert zu lange)
document = Jsoup.connect(url).timeout(0).get();
// waehlt zunaechst den ElternKnoten: <div id="search_result_container">
Element parentNode = document.getElementById("search_result_container");
Elements childNodes = parentNode.getElementsByAttribute("data-ds-appid");
// FUNZT (releasedates)
Elements releasedates = document.select("div.col.search_released.responsive_secondrow");
Elements prices = document.select("div.col.search_price.responsive_secondrow");
for(int j = 0; j < releasedates.size(); j++)
{
String name = childNodes.get(j).getElementsByClass("title").text();
String id = childNodes.get(j).attr("data-ds-appid");
int ID = Integer.parseInt(id);
String href = childNodes.get(j).attr("href");
String releaseDate = releasedates.get(j).text();
String priceAll = prices.get(j).text();
String[] getPrice = priceAll.split(" ");
String price = getPrice[getPrice.length - 1];
// Liste befuellen WICHTIG fuer Textfile!!
wc.spiele.add(new Spiel(name, ID, href, price, releaseDate));
//check if the game is already in database
String search = "SELECT * FROM spiel WHERE URL LIKE \"" + href + "\"";
Statement checkIfAlreadyThere = conn.createStatement();
ResultSet rs = checkIfAlreadyThere.executeQuery(search);
if(rs.next())
{
System.out.println("Game already in database");
}
else
{
String insert = "INSERT INTO spiel (NAME, ID, URL, VERÖFFENTLICHT, PREIS)"
+ "VALUES (?,?,?,?,?)";
PreparedStatement preparedStatement = conn.prepareStatement(insert);
preparedStatement.setString(1, name);
preparedStatement.setInt(2, ID);
preparedStatement.setString(3, href);
preparedStatement.setString(4, releaseDate);
if(price.equals("Play") || price.equals("Free"))
{
price = "kostenlos";
}
preparedStatement.setString(5, price);
preparedStatement.executeUpdate();
}
counter++;
}
}
System.out.println("Anzahl Spiele: " + counter);
for(Spiel out : wc.spiele)
{
wc.writeSpielNameIDLink("Spiel:" + out.getName() + DELIMITER + "ID:" + out.getID() + DELIMITER
+ "SpieleLink:" + out.getLink() + DELIMITER + "veröffentlicht:" + out.getReleaseDate()
+ DELIMITER + "Preis:" + out.getPrice() + "\n \n");
}
wc.writeSpielNameIDLink("\n \n Anzahl Spiele: " + counter);
Steam_Sales_Per_Game spG = new Steam_Sales_Per_Game();
}
catch(IOException e)
{
e.printStackTrace();
}
}
. 예 : Fallout 3 : NAME1 = "낙진 : New Vegas"NAME2 = "낙진 : New Vegas Ultimate Edition"그러나 둘 다 같은 ID = 22380! 고유 한 ID (일반적으로)가 큰 문제는 아닐 수도 있습니다. – fasswas
유일한 유일한 사실은 이름이지만 그 SQL-Sytax 오류로 인해 항상 실행됩니다. 바보 같은 이름의 게임들 ^^ – fasswas
아이디를 href 속성에서 가져 와서 '.../app /'문자열 뒤에 id가 유일하다. 심지어 낙진 새로운 라스베가스와 새로운 라스베가스의 궁극적 인 에디션 –