본문 바로가기

분류 전체보기140

day22) Java를 이용한 웹 크롤링 2 - 크롤링한 값 db에 저장하기 [2번 select하기] 블로그 글 목록에서 제목과 작성일자를 크롤링 할때 ->Elements eles=doc.select("div#body > ul > li"); 이렇게 하면 li태그에 있는 모든 값이 하나로 불러오게 된다. Elements eles=doc.select("div#body > ul > li"); Iterator itr=eles.iterator(); Iterator itr1=eles.select("a").iterator(); Iterator itr2=eles.select("span").iterator(); 이런식으로 하면 li태그 아래에 있는 a태그와 span태그를 따로 불러올 수 있다. [ArrayList에 크롤링 한 값 저장] ArrayList datas = new ArrayList().. 2022. 1. 25.
Team2) [DB] group by, having을 이용한 데이터 가공하기 [문제] 학생 테이블생성 1. 각 동아리의 총인원 출력 2. 각동아리의 평균점수 출력 3. 각 동아리중에서 평균이 40이상인 동아리만 출력 [테이블 생성하기] create table student( sid int primary key, -- 학생번호 sname varchar(20) not null, --학생이름 club varchar(30), --소속 클럽 score int default 0 --학생점수 ); [데이터 추가] insert into student values((select nvl(max(sid),0)+1 from student), '홍길동','미술부', 10); insert into student values((select nvl(max(sid),0)+1 from student), '임꺽정.. 2022. 1. 25.
day21) Java를 이용한 웹 크롤링1 - 기본 개념 웹 크롤링은 웹 사이트에서 원하는 정보를 추출하는 것을 의미한다. [크롤링 관련 용어] 스크랩핑 - 인터넷상에 존재하는 데이터를 프로그램을 이용해서 해당 데이터를 수집하는 방법 -웹에서 데이터를 수집하는 방법 크롤링 -수집한 데이터를 분류하는 작업 -주로 인터넷의 웹페이지를 수집(스크랩핑)해서 분류하고 저장하는 작업(크롤링)을 합쳐 웹 크롤링이라 부른다. -"접근": 데이터가 어느 위치에 저장되어있는지 작성하는 작업이 포인트이다. 파싱 -받아온 웹피이지의 데이터를 이용할 형식에 맞게 추출하여 의미있는 값으로 변형하는 작업 -"가공": 사용하는 언어(문법)에 맞게 분석하는 작업이 포인트이다. Jsoup -자바로 이루어진 HTML Parser. HTML로 이루어진 데이터(ex. 요소)를 분석가능하다. imp.. 2022. 1. 25.
day20)JDBC를 이용한 DB연동3 - PreparedStatement [Statement vs PreparedStatement] 1.Statement -stmt=conn.createStatement();-> 인자 없이 만든다 -stmt.executeUpdate(sql문); 2.PreparedStatement -pstmt=conn.prepareStatement("UPDATE MEMBER SET POINT = POINT + ? WHERE ID =?"); -> sql문을 주면서 만든다 -> ?표를 sql내부에 넣어 물음표를 대기시킨다. - pstmt.setInt(1, vo.getPoint()); -> 이후 물음표를 setter로 정의한다. - pstmt.executeUpdate(); -> sql문실행 2022. 1. 23.

티스토리툴바