크롤링3 Team 5-4) (JAVA, JSP) 데이터 크롤링 실제 존재하는 데이터를 초기 데이터로 활용하기 위해 데이터 크롤링을 구현해 보자. [리스너 설정] 서버가 처음 시작하고, 한번 초기 데이터를 세팅해야 한다. ->컨테이너가 최초 구동될 때 크롤링을 진행할 수 있도록 리스너를 활용한다. [데이터 유무 체크] 리스너를 통해 Crawling.java 클래스가 실행되었다면 db에 저장된 값이 있는지 체크하여 존재하지 않았을 때 크롤링이 시작될 수 있도록 분기 처리해준다. [식당 정보 크롤링] [메뉴 정보 크롤링] 2022. 4. 14. Team3) [JAVA,DBMS] 크롤링을 활용한 게임추천 사이트 *콘솔프로젝트 입니다 [전체코드] https://github.com/seo5795/team3-recommendGame.git [참고사이트] 스팀 크롤링 페이지: Steam 검색 (steampowered.com) [제작 일정] 제작: 22.1.27 - 22.2.7 발표: 22.2.8 [제작 환경] Eclipse IDE 2021‑12 DBMS - Oracle_11 [역할분담] Model - 2명 Controller - 1명 View -1 명 저는 Controller로 참여하였습니다. [User Flow, Logic Process] UserFlow를 작성하다보니 LogicProcess와 같이 작성하게 되었습니다. 1. 첫번째 화면에서 하는 종료를 눌러야만 전체 프로그램 종료 2. 사용자 PK(Unum)이 10.. 2022. 2. 21. day21) Java를 이용한 웹 크롤링1 - 기본 개념 웹 크롤링은 웹 사이트에서 원하는 정보를 추출하는 것을 의미한다. [크롤링 관련 용어] 스크랩핑 - 인터넷상에 존재하는 데이터를 프로그램을 이용해서 해당 데이터를 수집하는 방법 -웹에서 데이터를 수집하는 방법 크롤링 -수집한 데이터를 분류하는 작업 -주로 인터넷의 웹페이지를 수집(스크랩핑)해서 분류하고 저장하는 작업(크롤링)을 합쳐 웹 크롤링이라 부른다. -"접근": 데이터가 어느 위치에 저장되어있는지 작성하는 작업이 포인트이다. 파싱 -받아온 웹피이지의 데이터를 이용할 형식에 맞게 추출하여 의미있는 값으로 변형하는 작업 -"가공": 사용하는 언어(문법)에 맞게 분석하는 작업이 포인트이다. Jsoup -자바로 이루어진 HTML Parser. HTML로 이루어진 데이터(ex. 요소)를 분석가능하다. imp.. 2022. 1. 25. 이전 1 다음
