예전에 R 을 공부하면서 신박하다고 감탄한 기능중 하나는 미리 준비된 데이터셋이 있다는 점이다. 데이터분석을 위한 배려가 있는 환경이다. 새해부터 해보고 싶은 일이 데이터사이언스를 공부해보는 것인데, R이나 Python, Spark 등등 좋은 도구가 많지만 많은 전문가들이 빼놓지 않고 언급하는 도구가 엑셀이다.
기름없이 차가 안굴러가듯이 일단 데이터셋을 모으는 게 일인 듯 싶어(책도 준비하고) R의 데이터셋을 다운받을 곳을 찾아보니 ,
https://vincentarelbundock.github.io/Rdatasets/datasets.html 에서 CSV파일이나 DOC파일로 제공하고 있다.
흠 이걸 다운받아 써봐야지...R 책에서 자주 보이는 iris 등을 몇 개 다운 받고 보니, 쓸데없이 전부 다운받고 싶은 욕심이 든다. 그런데 제공하는 데이터셋이 한 두개가 아니다. 나중에 세어보니 1,174개이다.
엑셀로 공부하기로 했으니 필요한 데이터셋을 엑셀로 다운받아 보기로 했다. 일단 datasets.html 파일을 엑셀에서 열었다. [열기]대화상자에서 url을 복사해서 [파일이름]에 붙여 넣고 [열기]버튼을 클릭하면, html 파일이 워크시트안으로 들어오게 된다.
[F]컬럼은 csv파일을 다운받을 수 있는 하이퍼링크가 들어 있다. 이 컬럼의 각 셀을 돌아다니면서 하이퍼링크를 추출하여 다운로드하면 된다. 다운로드는 인터넷익스플로러(ie) 개체를 이용하는 방법도 있지만 윈도우 API를 직접 사용하는 방법을 사용하였다.
Declare PtrSafe Function URLDownloadToFile Lib "urlmon" Alias "URLDownloadToFileA" _
(ByVal pCaller As Long, ByVal szURL As String, ByVal szFileName As String, _
ByVal dwReserved As Long, ByVal lpfnCB As Long) As Long
위의 URLDownloadToFile()함수에서 2번째 매개변수에는 url을, 3번째 매개변수에는 저장할 경로&파일이름을 던져주면 된다. 정상적으로 다운로드하면 0을 돌려준다. 다음은 이런 작업을 해주는 프로시저이다.
Sub DownloadCSV()
Dim s As Worksheet
Dim rng As Range
Dim url As String
Dim local_file_name As String
Dim i As Long
Set s = Sheet1
i = 0
For Each rng In s.Range(s.Range("F2"), s.Range("F2").End(xlDown))
i = i + 1
If GetQueueStatus(QS_ALL_EVENTS) <> 0 Then DoEvents
url = rng.Hyperlinks.Item(1).Address
local_file_name = ThisWorkbook.Path & "\" & Right(url, Len(url) - InStrRev(url, "/"))
Debug.Print i, "Trying " & local_file_name
If Len(url) <> 0 And Len(Dir(local_file_name)) = 0 Then
If URLDownloadToFile(0, url, local_file_name, 0, 0) = 0 Then
Debug.Print i, "Saving " & local_file_name
End If
End If
Next
End Sub
그런데 시간이 많이 걸린다. 똥차라서 느리지만 잘 굴러가길 바라는 마음에서 추가로 원활한 작업을 위해 윈도우 큐를 검사하는 API(GetQueueStatus)를 하나 추가하였다. 다음은 GetQueueStatus()함수와 그에 부속된 상수들이다.
Declare PtrSafe Function GetQueueStatus Lib "user32" (ByVal fuFlags As Long) As Long
Public Const QS_MOUSEBUTTON = &H4
Public Const QS_MOUSEMOVE = &H2
Public Const QS_MOUSE = (QS_MOUSEMOVE Or QS_MOUSEBUTTON)
Public Const QS_KEY = &H1
Public Const QS_INPUT = (QS_MOUSE Or QS_KEY)
Public Const QS_POSTMESSAGE = &H8
Public Const QS_SENDMESSAGE = &H40
Public Const QS_TIMER = &H10
Public Const QS_HOTKEY = &H80
Public Const QS_PAINT = &H20
Public Const QS_ALL_EVENTS = (QS_SENDMESSAGE Or QS_PAINT Or _
QS_TIMER Or QS_POSTMESSAGE Or QS_MOUSEBUTTON Or QS_MOUSEMOVE Or _
QS_HOTKEY Or QS_KEY)
