Crawling.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# crawling"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# WAR데이터 \n",
    "### 스태티즈에서 수동으로 크롤링 2016-2019"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 선발선수 데이터: 각 경기의 선발선수 2014-2019"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "C:\\04Python\\Project_KBO_Predict\n"
     ]
    }
   ],
   "source": [
    "import os\n",
    "print (os.getcwd()) #현재 디렉토리의 위치확인"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2014-3-1\n",
      "2014-3-2\n",
      "2014-3-3\n",
      "2014-3-4\n",
      "2014-3-5\n",
      "2014-3-6\n",
      "2014-3-7\n",
      "2014-3-8\n",
      "2014-3-9\n",
      "2014-3-10\n",
      "2014-3-11\n",
      "2014-3-12\n",
      "2014-3-13\n",
      "2014-3-14\n",
      "2014-3-15\n",
      "2014-3-16\n",
      "2014-3-17\n",
      "2014-3-18\n",
      "2014-3-19\n",
      "2014-3-20\n",
      "2014-3-21\n",
      "2014-3-22\n",
      "2014-3-23\n",
      "2014-3-24\n",
      "2014-3-25\n",
      "2014-3-26\n",
      "2014-3-27\n",
      "2014-3-28\n",
      "2014-3-29\n",
      "2014-3-30\n",
      "2014-3-31\n",
      "2014-4-1\n",
      "2014-4-2\n",
      "2014-4-3\n",
      "2014-4-4\n",
      "2014-4-5\n",
      "2014-4-6\n",
      "2014-4-7\n",
      "2014-4-8\n",
      "2014-4-9\n",
      "2014-4-10\n",
      "2014-4-11\n",
      "2014-4-12\n",
      "2014-4-13\n",
      "2014-4-14\n",
      "2014-4-15\n",
      "2014-4-16\n",
      "2014-4-17\n",
      "2014-4-18\n",
      "2014-4-19\n",
      "2014-4-20\n",
      "2014-4-21\n",
      "2014-4-22\n",
      "2014-4-23\n",
      "2014-4-24\n",
      "2014-4-25\n",
      "2014-4-26\n",
      "2014-4-27\n",
      "2014-4-28\n",
      "2014-4-29\n",
      "2014-4-30\n",
      "2014-4-31\n",
      "2014-5-1\n",
      "2014-5-2\n",
      "2014-5-3\n",
      "2014-5-4\n",
      "2014-5-5\n",
      "2014-5-6\n",
      "2014-5-7\n",
      "2014-5-8\n",
      "2014-5-9\n",
      "2014-5-10\n",
      "2014-5-11\n",
      "2014-5-12\n",
      "2014-5-13\n",
      "2014-5-14\n",
      "2014-5-15\n",
      "2014-5-16\n",
      "2014-5-17\n",
      "2014-5-18\n",
      "2014-5-19\n",
      "2014-5-20\n",
      "2014-5-21\n",
      "2014-5-22\n",
      "2014-5-23\n",
      "2014-5-24\n",
      "2014-5-25\n",
      "2014-5-26\n",
      "2014-5-27\n",
      "2014-5-28\n",
      "2014-5-29\n",
      "2014-5-30\n",
      "2014-5-31\n",
      "2014-6-1\n",
      "2014-6-2\n",
      "2014-6-3\n",
      "2014-6-4\n",
      "2014-6-5\n",
      "2014-6-6\n",
      "2014-6-7\n",
      "2014-6-8\n",
      "2014-6-9\n",
      "2014-6-10\n",
      "2014-6-11\n",
      "2014-6-12\n",
      "2014-6-13\n",
      "2014-6-14\n",
      "2014-6-15\n",
      "2014-6-16\n",
      "2014-6-17\n",
      "2014-6-18\n",
      "2014-6-19\n",
      "2014-6-20\n",
      "2014-6-21\n",
      "2014-6-22\n",
      "2014-6-23\n",
      "2014-6-24\n",
      "2014-6-25\n",
      "2014-6-26\n",
      "2014-6-27\n",
      "2014-6-28\n",
      "2014-6-29\n",
      "2014-6-30\n",
      "2014-6-31\n",
      "2014-7-1\n",
      "2014-7-2\n",
      "2014-7-3\n",
      "2014-7-4\n",
      "2014-7-5\n",
      "2014-7-6\n",
      "2014-7-7\n",
      "2014-7-8\n",
      "2014-7-9\n",
      "2014-7-10\n",
      "2014-7-11\n",
      "2014-7-12\n",
      "2014-7-13\n",
      "2014-7-14\n",
      "2014-7-15\n",
      "2014-7-16\n",
      "2014-7-17\n",
      "2014-7-18\n",
      "2014-7-19\n",
      "2014-7-20\n",
      "2014-7-21\n",
      "2014-7-22\n",
      "2014-7-23\n",
      "2014-7-24\n",
      "2014-7-25\n",
      "2014-7-26\n",
      "2014-7-27\n",
      "2014-7-28\n",
      "2014-7-29\n",
      "2014-7-30\n",
      "2014-7-31\n",
      "2014-8-1\n",
      "2014-8-2\n",
      "2014-8-3\n",
      "2014-8-4\n",
      "2014-8-5\n",
      "2014-8-6\n",
      "2014-8-7\n",
      "2014-8-8\n",
      "2014-8-9\n",
      "2014-8-10\n",
      "2014-8-11\n",
      "2014-8-12\n",
      "2014-8-13\n",
      "2014-8-14\n",
      "2014-8-15\n",
      "2014-8-16\n",
      "2014-8-17\n",
      "2014-8-18\n",
      "2014-8-19\n",
      "2014-8-20\n",
      "2014-8-21\n",
      "2014-8-22\n",
      "2014-8-23\n",
      "2014-8-24\n",
      "2014-8-25\n",
      "2014-8-26\n",
      "2014-8-27\n",
      "2014-8-28\n",
      "2014-8-29\n",
      "2014-8-30\n",
      "2014-8-31\n",
      "2014-9-1\n",
      "2014-9-2\n",
      "2014-9-3\n",
      "2014-9-4\n",
      "2014-9-5\n",
      "2014-9-6\n",
      "2014-9-7\n",
      "2014-9-8\n",
      "2014-9-9\n",
      "2014-9-10\n",
      "2014-9-11\n",
      "2014-9-12\n",
      "2014-9-13\n",
      "2014-9-14\n",
      "2014-9-15\n",
      "2014-9-16\n",
      "2014-9-17\n",
      "2014-9-18\n",
      "2014-9-19\n",
      "2014-9-20\n",
      "2014-9-21\n",
      "2014-9-22\n",
      "2014-9-23\n",
      "2014-9-24\n",
      "2014-9-25\n",
      "2014-9-26\n",
      "2014-9-27\n",
      "2014-9-28\n",
      "2014-9-29\n",
      "2014-9-30\n",
      "2014-9-31\n",
      "2014-10-1\n",
      "2014-10-2\n",
      "2014-10-3\n",
      "2014-10-4\n",
      "2014-10-5\n",
      "2014-10-6\n",
      "2014-10-7\n",
      "2014-10-8\n",
      "2014-10-9\n",
      "2014-10-10\n",
      "2014-10-11\n",
      "2014-10-12\n",
      "2014-10-13\n",
      "2014-10-14\n",
      "2014-10-15\n",
      "2014-10-16\n",
      "2014-10-17\n",
      "2014-10-18\n",
      "2014-10-19\n",
      "2014-10-20\n",
      "2014-10-21\n",
      "2014-10-22\n",
      "2014-10-23\n",
      "2014-10-24\n",
      "2014-10-25\n",
      "2014-10-26\n",
      "2014-10-27\n",
      "2014-10-28\n",
      "2014-10-29\n",
      "2014-10-30\n",
      "2014-10-31\n",
      "2015-3-1\n",
      "2015-3-2\n",
      "2015-3-3\n",
      "2015-3-4\n",
      "2015-3-5\n",
      "2015-3-6\n",
      "2015-3-7\n",
      "2015-3-8\n",
      "2015-3-9\n",
      "2015-3-10\n",
      "2015-3-11\n",
      "2015-3-12\n",
      "2015-3-13\n",
      "2015-3-14\n",
      "2015-3-15\n",
      "2015-3-16\n",
      "2015-3-17\n",
      "2015-3-18\n",
      "2015-3-19\n",
      "2015-3-20\n",
      "2015-3-21\n",
      "2015-3-22\n",
      "2015-3-23\n",
      "2015-3-24\n",
      "2015-3-25\n",
      "2015-3-26\n",
      "2015-3-27\n",
      "2015-3-28\n",
      "2015-3-29\n",
      "2015-3-30\n",
      "2015-3-31\n",
      "2015-4-1\n",
      "2015-4-2\n",
      "2015-4-3\n",
      "2015-4-4\n",
      "2015-4-5\n",
      "2015-4-6\n",
      "2015-4-7\n",
      "2015-4-8\n",
      "2015-4-9\n",
      "2015-4-10\n",
      "2015-4-11\n",
      "2015-4-12\n",
      "2015-4-13\n",
      "2015-4-14\n",
      "2015-4-15\n",
      "2015-4-16\n",
      "2015-4-17\n",
      "2015-4-18\n",
      "2015-4-19\n",
      "2015-4-20\n",
      "2015-4-21\n",
      "2015-4-22\n",
      "2015-4-23\n",
      "2015-4-24\n",
      "2015-4-25\n",
      "2015-4-26\n",
      "2015-4-27\n",
      "2015-4-28\n",
      "2015-4-29\n",
      "2015-4-30\n",
      "2015-4-31\n",
      "2015-5-1\n",
      "2015-5-2\n",
      "2015-5-3\n",
      "2015-5-4\n",
      "2015-5-5\n",
      "2015-5-6\n",
      "2015-5-7\n",
      "2015-5-8\n",
      "2015-5-9\n",
      "2015-5-10\n",
      "2015-5-11\n",
      "2015-5-12\n",
      "2015-5-13\n",
      "2015-5-14\n",
      "2015-5-15\n",
      "2015-5-16\n",
      "2015-5-17\n",
      "2015-5-18\n",
      "2015-5-19\n",
      "2015-5-20\n",
      "2015-5-21\n",
      "2015-5-22\n",
      "2015-5-23\n",
      "2015-5-24\n",
      "2015-5-25\n",
      "2015-5-26\n",
      "2015-5-27\n",
      "2015-5-28\n",
      "2015-5-29\n",
      "2015-5-30\n",
      "2015-5-31\n",
      "2015-6-1\n",
      "2015-6-2\n",
      "2015-6-3\n",
      "2015-6-4\n",
      "2015-6-5\n",
      "2015-6-6\n",
      "2015-6-7\n",
      "2015-6-8\n",
      "2015-6-9\n",
      "2015-6-10\n",
      "2015-6-11\n",
      "2015-6-12\n",
      "2015-6-13\n",
      "2015-6-14\n",
      "2015-6-15\n",
      "2015-6-16\n",
      "2015-6-17\n",
      "2015-6-18\n",
      "2015-6-19\n",
      "2015-6-20\n",
      "2015-6-21\n",
      "2015-6-22\n",
      "2015-6-23\n",
      "2015-6-24\n",
      "2015-6-25\n",
      "2015-6-26\n",
      "2015-6-27\n",
      "2015-6-28\n",
      "2015-6-29\n",
      "2015-6-30\n",
      "2015-6-31\n",
      "2015-7-1\n",
      "2015-7-2\n",
      "2015-7-3\n",
      "2015-7-4\n",
      "2015-7-5\n",
      "2015-7-6\n",
      "2015-7-7\n",
      "2015-7-8\n",
      "2015-7-9\n",
      "2015-7-10\n",
      "2015-7-11\n",
      "2015-7-12\n",
      "2015-7-13\n",
      "2015-7-14\n",
      "2015-7-15\n",
      "2015-7-16\n",
      "2015-7-17\n",
      "2015-7-18\n",
      "2015-7-19\n",
      "2015-7-20\n",
      "2015-7-21\n",
      "2015-7-22\n",
      "2015-7-23\n",
      "2015-7-24\n",
      "2015-7-25\n",
      "2015-7-26\n",
      "2015-7-27\n",
      "2015-7-28\n",
      "2015-7-29\n",
      "2015-7-30\n",
      "2015-7-31\n",
      "2015-8-1\n",
      "2015-8-2\n",
      "2015-8-3\n",
      "2015-8-4\n",
      "2015-8-5\n",
      "2015-8-6\n",
      "2015-8-7\n",
      "2015-8-8\n",
      "2015-8-9\n",
      "2015-8-10\n",
      "2015-8-11\n",
      "2015-8-12\n",
      "2015-8-13\n",
      "2015-8-14\n",
      "2015-8-15\n",
      "2015-8-16\n",
      "2015-8-17\n",
      "2015-8-18\n",
      "2015-8-19\n",
      "2015-8-20\n",
      "2015-8-21\n",
      "2015-8-22\n",
      "2015-8-23\n",
      "2015-8-24\n",
      "2015-8-25\n",
      "2015-8-26\n",
      "2015-8-27\n",
      "2015-8-28\n",
      "2015-8-29\n",
      "2015-8-30\n",
      "2015-8-31\n",
      "2015-9-1\n",
      "2015-9-2\n",
      "2015-9-3\n",
      "2015-9-4\n",
      "2015-9-5\n",
      "2015-9-6\n",
      "2015-9-7\n",
      "2015-9-8\n",
      "2015-9-9\n",
      "2015-9-10\n",
      "2015-9-11\n",
      "2015-9-12\n",
      "2015-9-13\n",
      "2015-9-14\n",
      "2015-9-15\n",
      "2015-9-16\n",
      "2015-9-17\n",
      "2015-9-18\n",
      "2015-9-19\n",
      "2015-9-20\n",
      "2015-9-21\n",
      "2015-9-22\n",
      "2015-9-23\n",
      "2015-9-24\n",
      "2015-9-25\n",
      "2015-9-26\n",
      "2015-9-27\n",
      "2015-9-28\n",
      "2015-9-29\n",
      "2015-9-30\n",
      "2015-9-31\n",
      "2015-10-1\n",
      "2015-10-2\n",
      "2015-10-3\n",
      "2015-10-4\n",
      "2015-10-5\n",
      "2015-10-6\n",
      "2015-10-7\n",
      "2015-10-8\n",
      "2015-10-9\n",
      "2015-10-10\n",
      "2015-10-11\n",
      "2015-10-12\n",
      "2015-10-13\n",
      "2015-10-14\n",
      "2015-10-15\n",
      "2015-10-16\n",
      "2015-10-17\n",
      "2015-10-18\n",
      "2015-10-19\n",
      "2015-10-20\n",
      "2015-10-21\n",
      "2015-10-22\n",
      "2015-10-23\n",
      "2015-10-24\n",
      "2015-10-25\n",
      "2015-10-26\n",
      "2015-10-27\n",
      "2015-10-28\n",
      "2015-10-29\n",
      "2015-10-30\n",
      "2015-10-31\n"
     ]
    }
   ],
   "source": [
    "#선발선수데이터\n",
    "import requests\n",
    "from SearchList import getSearchList\n",
    "date = ['201{}-{}-{}'.format(y,m,d) for y in [4,5,6,7,8,9] for m in [3,4,5,6,7,8,9,10] for d in range(1,32)]\n",
    "stadium = ['부산사직', '고척돔', '잠실', '케이티위즈파크', '창원NC파크', '대전한밭', '챔피언스필드', '라이온즈파크', '인천문학','마산','대구', '사직', '문학', '목동', '울산', '대전', '포항', '광주']\n",
    "path = \"\"\n",
    "away_tag = \"body > div.wrapper > div.content-wrapper > div > section.content > div > div:nth-child(2) > div:nth-child(1) > div:nth-child(1) > div > div.box-body.no-padding.table-responsive tr\"\n",
    "home_tag = \"body > div.wrapper > div.content-wrapper > div > section.content > div > div:nth-child(2) > div:nth-child(1) > div:nth-child(2) > div > div.box-body.no-padding.table-responsive tr\"\n",
    "\n",
    "for d in date:\n",
    "    print(d)\n",
    "    for s in stadium:\n",
    "        path = \"http://www.statiz.co.kr/boxscore.php?opt=5&date={}&stadium={}\".format(d,s) #try-catch\n",
    "        away_search_list = getSearchList(path, away_tag)\n",
    "        home_search_list = getSearchList(path,home_tag)\n",
    "        away_list = [x.find_all('td') for x in away_search_list]\n",
    "        home_list = [x.find_all('td') for x in home_search_list]\n",
    "        if len(away_search_list) != 0:\n",
    "            with open('./선발/{}_{}_{}.csv'.format(d,s,'away'), 'w') as f:\n",
    "                for i in away_list:\n",
    "                    line = ''\n",
    "                    for j in i:\n",
    "                        value = j.text.strip()\n",
    "\n",
    "                        if '좌타' not in value and '우타' not in value:\n",
    "                            value = value if value != '' else '0'\n",
    "                            line += value+', '\n",
    "                        else:\n",
    "                            line += value+'\\n'\n",
    "                    f.write(line)\n",
    "            with open('./선발/{}_{}_{}.csv'.format(d, s, 'home'), 'w') as f:\n",
    "                for i in home_list:\n",
    "                    line = ''\n",
    "                    for j in i:\n",
    "                        value = j.text.strip()\n",
    "                        if '좌타' not in value and '우타' not in value:\n",
    "                            value = value if value != '' else '0'\n",
    "                            line += value + ', '\n",
    "                        else:\n",
    "                            line += value + '\\n'\n",
    "                    f.write(line)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# WPA Crwaling 2014-2019"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# WPA 긁어오기\n",
    "import requests\n",
    "from SearchList import getSearchList\n",
    "\n",
    "#si_it 4:7, 5:8, 6:9, 7:10, 8:11, 9:12, 10:13\n",
    "path_form = 'http://www.statiz.co.kr/stat.php?mid=stat&re=0&ys={}&ye={}&se=0&te=&tm=&ty=0&qu=auto&po=0&as=&ae=&hi=&un=&pl=&da=16&o1=WPA&o2=AVG&de=1&lr=0&tr=&cv=0&ml=1&sn=30&pa={}&cn=&si=999&si_it={}&si_wd=&si_tm=&si_ha=&si_te=&si_st=&si_as=&si_or=&si_ty=&si_pl=&si_in=&si_on=&si_um=&si_oc=&si_bs=&si_sc=&si_cnt=&si_aft=&si_li='\n",
    "path = \"\"\n",
    "tag = \"#mytable  td:nth-child(4)\"\n",
    "tag2 = \"#mytable  td:nth-child(2) \"\n",
    "# tag = \"#fixcol > table > tbody td:nth-child(4) > font > span\"\n",
    "\n",
    "year = [2014,2015,2016,2017,2018,2019]\n",
    "month = [4,5,6,7,8,9,10]\n",
    "pa = [0,30,60,90,120,150,180,210]\n",
    "for y in year:\n",
    "    for m in month:\n",
    "        with open('./WPA/{}-{}WPA.csv'.format(y,m), 'w') as f:\n",
    "            for p in pa:\n",
    "                si_it = m+3\n",
    "                path = path_form.format(y,y,p,si_it)\n",
    "                WPA_search_list = getSearchList(path, tag)\n",
    "                name_search_list = getSearchList(path, tag2)\n",
    "\n",
    "                for name,wpa in zip(name_search_list,WPA_search_list):\n",
    "                    f.write(name.text+', '+wpa.text+'\\n')\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Score Data Crawling"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#스코어데이터\n",
    "import requests\n",
    "from SearchList import getSearchList\n",
    "date = ['201{}-{}-{}'.format(y,m,d) for y in [4,5,6,7,8,9] for m in [5,6,7,8,9] for d in range(1,32)]\n",
    "stadium = ['부산사직', '고척돔', '잠실', '케이티위즈파크', '창원NC파크', '대전한밭', '챔피언스필드', '라이온즈파크', '인천문학','마산','대구', '사직', '문학', '목동', '울산', '대전', '포항', '광주']\n",
    "path = \"\"\n",
    "tag = \"body > div.wrapper > div.content-wrapper > div > section.content > div > div:nth-child(1) > div > div.col-xs-12.col-sm-12.col-md-12.col-lg-4 > div > div:nth-child(2) > span\"\n",
    "f = open('game_score.csv', 'w')\n",
    "for d in date:\n",
    "    for s in stadium:\n",
    "        path = \"http://www.statiz.co.kr/boxscore.php?opt=5&date={}&stadium={}\".format(d,s) #try-catch\n",
    "        score_search_list = getSearchList(path, tag)\n",
    "        for i in score_search_list:\n",
    "            #print(i.text)\n",
    "            #print(d,s)\n",
    "            f.write('{}_{}, {}\\n'.format(d,s,i.text))\n",
    "f.close()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}