JAVA31 day22) Java를 이용한 웹 크롤링 2 - 크롤링한 값 db에 저장하기 [2번 select하기] 블로그 글 목록에서 제목과 작성일자를 크롤링 할때 ->Elements eles=doc.select("div#body > ul > li"); 이렇게 하면 li태그에 있는 모든 값이 하나로 불러오게 된다. Elements eles=doc.select("div#body > ul > li"); Iterator itr=eles.iterator(); Iterator itr1=eles.select("a").iterator(); Iterator itr2=eles.select("span").iterator(); 이런식으로 하면 li태그 아래에 있는 a태그와 span태그를 따로 불러올 수 있다. [ArrayList에 크롤링 한 값 저장] ArrayList datas = new ArrayList().. 2022. 1. 25. day21) Java를 이용한 웹 크롤링1 - 기본 개념 웹 크롤링은 웹 사이트에서 원하는 정보를 추출하는 것을 의미한다. [크롤링 관련 용어] 스크랩핑 - 인터넷상에 존재하는 데이터를 프로그램을 이용해서 해당 데이터를 수집하는 방법 -웹에서 데이터를 수집하는 방법 크롤링 -수집한 데이터를 분류하는 작업 -주로 인터넷의 웹페이지를 수집(스크랩핑)해서 분류하고 저장하는 작업(크롤링)을 합쳐 웹 크롤링이라 부른다. -"접근": 데이터가 어느 위치에 저장되어있는지 작성하는 작업이 포인트이다. 파싱 -받아온 웹피이지의 데이터를 이용할 형식에 맞게 추출하여 의미있는 값으로 변형하는 작업 -"가공": 사용하는 언어(문법)에 맞게 분석하는 작업이 포인트이다. Jsoup -자바로 이루어진 HTML Parser. HTML로 이루어진 데이터(ex. 요소)를 분석가능하다. imp.. 2022. 1. 25. day20) 트랜잭션1 트랜잭션이란 db에 접근하여 수행하는 작업의 처리단위이다. ex) 게임 과금 시스템 1. 게임아이템을 사기위해 과금을 해서 게임머니를 충전한다. 2. 게임아이템을 사기위해 게임머니가 줄어들고 게임 아이템을 획득한다. 만약 1번 과정과 2번 과정을 분리되어있다고 가정해보자. 1번과정을 수행하고 2번과정 중에 문제가 일어나게 된다면 게임아이템은 획득하지 못하게 된다. 또한 별도의 처리가 없으면 과금을 했던 돈 또한 돌아오지 않는다. 이러한 문제를 해결하기 위해 1-2의 과정을 하나의 과정으로 처리해 주어 어느 부분에서 문제가 일어나더라도 하나의 과정안에서 수행취소가 진행되도록 코딩해 주어야한다. [사용법] -conn.setAutoCommit(false) : 기본적으로, 모든 작업 하나하나를 하나의 단위로 취.. 2022. 1. 23. day19) JDBC를 이용한 DB연동2 - CRUD구현 [executeUpdate vs executeQuery] 1. executeQuery 리턴값: ResultSet 객체(query문의 결과값을 그대로 가져온다) 사용처: 결과값을 출력할 필요가 있는 Select문에서 주로 사용된다. 2. executeupdate 리턴값: sql이 적용된 '갯수'인 int가 리턴된다. 사용처: 결과값을 출력할 필요가 없고, 쿼리문이 적용 되었는지 여부의 정보만 필요한 Create, Update, Delete문에서 주로사용된다 [예제] - v와 컨트롤러를 분리하지 않고 모델만 분리한다. - VO클래스를 만들어 DB값을 객체화시키는 작업을 한다. - DAO클래스를 만들어 각각의 비지니스 메서드를 생성한다. -> 각각의 비지니스 메서드를 만들때마다 DB에 연결하는 코드를 작성하면.. 2022. 1. 22. 이전 1 2 3 4 ··· 8 다음
