一意のキーワードを指定して特定の文書ドキュメントを抽出

<< エクセルVBAでclass属性を指定して文書ドキュメントを抽出するサブルーチン :前の記事

前回は、class属性を指定して文書ドキュメントを抽出するサブルーチンの作成について解説しました。こちらはclass属性とタグ名の組み合わせが一意の場合に有効な方法です。今回は、「文書ドキュメント取得の処理の考え方」で紹介した処理で一意のキーワードを指定して特定の文書ドキュメントを簡単に抽出できるサブルーチンの作成について解説していきます。

目次

DOM(Document Object Model)とは

DOMとは「Document Object Model」の略称で、html・head・body・p・aなどのHTMLドキュメント要素にアクセスして取得や操作ができる仕組みのことです。

以下はHTMLドキュメントをツリー構造に表したものでDOMツリーと呼ばれます。階層状のツリー構造でHTMLドキュメントを表現します。

DOMツリー

HTML(HyperText Markup Language)とは

HTMLとは「HyperText Markup Language」の略称で、Webページを作成するために開発された言語です。世の中に公開されているWebページのほとんどがHTMLで作成されています。こちらのサイトもHTMLで作成されています。

HTMLは基本的に以下のような構成でできており「<タグ名>★テキスト★</タグ名>」が1つの要素(エレメント)になります。この中の特定の要素に対してデータの取得や操作を行っていきます。

<html>

 <head>

  <title>VBAのIE制御</title>

 </head>

 <body>

  <p>こちらはpタグのテキストです。</p>
  <a href="★リンクURL(アドレス)★">リンクのアンカーテキストです。</a>

 </body>

</html>

※ドラッグ(スワイプ)すると全体を確認できます。

タグと要素(エレメント)の違い

HTML言語では、「タグ」と呼ばれる仕組みを利用して構築していきます。以下のイメージを確認すると分かりやすいと思いますが、タグとは「<」と「>」で構成されており、開始タグと終了タグまでの括りで1つの要素を形成します。

タグと要素の違い

具体例で説明するとWebページのURL(アドレス)を表す「titleタグ」を利用して開始タグの「<title>」と終了タグの「</title>」で括り、タグの中の文字列が「要素内容」となります。こちらでは「VBAのIE制御入門」の文字列が要素内容となります。

そして、こちらの「開始タグ+要素内容+終了タグ」の全体を「要素」と呼びます。また、別名では「エレメント」と呼ばれますので、どちらも同じ意味であることを理解してください。

利用するサブルーチン・プロパティ・メソッド・VBA関数について

今回利用するサブルーチンプロパティメソッドVBA関数は以下になります。利用方法については処理の解説で行いますが、どのような機能を持っているのか簡単に目を通してください。

ieViewサブルーチンとは

ieViewサブルーチン指定したURL(アドレス)をInternetExplorerで起動させ、Webページが完全に読み込まれるまで待機処理をするマクロです。

ieView("IEオブジェクト","表示させたいURL(アドレス)の文字列","IE表示・非表示の値[省略可]","Y位置の値[省略可]","X位置の値[省略可]","幅の値[省略可]","高さの値[省略可]")

ieCheckサブルーチンとは

ieCheckサブルーチン指定したInternetExplorerオブジェクトのWebページが完全に読み込まれるまで待機処理をするマクロです。

ieCheck("IEオブジェクト")

Documentプロパティとは

InternetExplorerオブジェクトのDocumentプロパティHTMLドキュメントのオブジェクトを返すプロパティです。これによりHTMLドキュメントを操作することができます。

objIE.document.プロパティ/メソッド

GetElementsByNameメソッドとは

DocumentオブジェクトのGetElementsByNameメソッドHTMLドキュメント内の指定したname属性の要素オブジェクトのコレクションを返すメソッドです。

objIE.document.GetElementsByName("name名")(添え字).プロパティ/メソッド

GetElementsByClassNameメソッドとは

DocumentオブジェクトのGetElementsByClassNameメソッドHTMLドキュメント内の指定したclass属性の要素オブジェクトのコレクションを返すメソッドです。

objIE.document.GetElementsByClassName("class名")(添え字).プロパティ/メソッド

getElementsByTagNameメソッドとは

DocumentオブジェクトのgetElementsByTagNameメソッドHTMLドキュメント内の指定したタグ名の要素オブジェクトのコレクションを返すメソッドです。

objIE.document.getElementsByTagName("タグ名")(添え字).プロパティ/メソッド

outerHTMLプロパティとは

要素オブジェクトのouterHTMLプロパティ指定した要素オブジェクトの要素タグとその中に含まれるHTMLコードを取得するプロパティです。

変数 = objIE.document.要素オブジェクト.outerHTML

赤文字がpタグのouterHTMLの取得範囲になります。

<p>pタグの<span class="colorRed">outerHTML</span>の取得範囲</p>

innerHTMLプロパティとは

要素オブジェクトのinnerHTMLプロパティ指定した要素オブジェクトの要素タグの間に含まれるHTMLコードを取得するプロパティです。指定した要素オブジェクトの要素タグは含まれません

変数 = objIE.document.要素オブジェクト.innerHTML

赤文字がpタグのinnerHTMLの取得範囲になります。

<p>pタグの<span class="colorRed">innerHTML</span>の取得範囲</p>

outerTextプロパティとは

要素オブジェクトのouterHTMLプロパティ指定した要素オブジェクトの要素内のテキスト部分のHTMLコードを取得するプロパティです。

変数 = objIE.document.要素オブジェクト.outerText

赤文字がpタグのouterTextの取得範囲になります。

<p>pタグの<span class="colorRed">outerText</span>の取得範囲</p>

innerTextプロパティとは

要素オブジェクトのouterHTMLプロパティ指定した要素オブジェクトの要素内のテキスト部分のHTMLコードを取得するプロパティです。

変数 = objIE.document.要素オブジェクト.innerText

赤文字がpタグのouterTextの取得範囲になります。

<p>pタグの<span class="colorRed">outerText</span>の取得範囲</p>

InStr関数とは

InStr関数ある文字列(string1)の中から指定した文字列(string2)を検索して最初に見つかった文字位置返すVBA関数です。

変数 = InStr(string1, string2)

MsgBox関数とは

MsgBox関数ダイアログボックスにメッセージとボタンを表示し、どのボタンが押されたかを示す整数型の数値を返します

MsgBox "表示させる文字列"

一意のキーワードを指定して特定の文書ドキュメントを抽出するサブルーチン「tagValue」の解説

こちらは、一意のキーワードを指定して特定の文書ドキュメントを抽出するサブルーチンになります。

Function tagValue(objIE As InternetExplorer, _
                 methodType As String, _
                 elementName As String, _
                 keywords As String, _
                 valueType As String) As String
 
  Dim objDoc As Object, myDoc As Object

  Select Case methodType

    Case "id"

      Set objDoc = objIE.document.getElementById(elementName)
        
    Case "name"
  
      Set objDoc = objIE.document.getElementsByName(elementName)
    
    Case "class"
  
      Set objDoc = objIE.document.getElementsByClassName(elementName)
    
    Case "tag"

      Set objDoc = objIE.document.getElementsByTagName(elementName)

  End Select

 
  For Each myDoc In objDoc

    With myDoc

      If InStr(.outerHTML, keywords) > 0 Then
    
        Select Case valueType

          Case "innerHTML"

            tagValue = .innerHTML

          Case "innerText"
             
            tagValue = .innerText
      
          Case "outerHTML"
 
            tagValue = .outerHTML

          Case "outerText"

            tagValue = .outerText

        End Select

        Exit For

      End If
    
    End With

  Next

End Function

※ドラッグ(スワイプ)すると全体を確認できます。

それでは、VBAコードを1つずつ説明していきます。

Function tagValue(objIE As InternetExplorer, _
                 methodType As String, _
                 elementName As String, _
                 keywords As String, _
                 valueType As String) As String

※ドラッグ(スワイプ)すると全体を確認できます。

こちらは戻り値を返すFunctionステートメントに引数を5つ設定しているtagValueサブルーチンになります。こちらの構文と引数の内容は以下になります。尚、引数はすべて参照渡しで渡されます。

tagValue("IEオブジェクト","メソッドタイプの文字列","メソッド引数の文字列","要素内の一意のキーワード","データ取得のプロパティ名")
構文classValue(objIE,className,tagName,valueType)
引数名データ型内容値の事例初期値省略
objIEInternetExplorerInternetExplorerオブジェクトを指定します。objIE,
objIE2
×
methodTypeString要素を抽出するメソッドのタイプを文字列で指定します。getElementsByNameメソッドの場合は「name」を、getElementsByClassNameメソッドの場合は「class」を、getElementsByTagNameメソッドの場合は「tag」を指定します。"name","class",
"tag"
×
elementNameStringメソッドの引数を文字列で指定します。引数methodTypeに「name」を指定した場合はid名を、「class」を指定した場合はclass名を「tag」を指定した場合はタグ名を指定します。"nametset",
"classtest",
"p"
×
keywordsString要素内の一意のキーワードを文字列で指定します。"円(税込)"×
valueTypeStringデータ取得のプロパティ名を文字列で指定します。データ取得のプロパティは「innerHTML」「innerText」「outerHTML」「outerText」の4つになります。詳細については、「HTMLコードを取得する」を参照してください。"innerHTML",
"innerText",
"outerHTML",
"outerText"
×

引数objIEは必須項目で、文書ドキュメントを抽出するnternetExplorerオブジェクトを指定します。InternetExplorerオブジェクトを引数に設定することで、複数のオブジェクトを処理することができます。

引数methodTypeは必須項目で、要素を抽出するメソッドのタイプを文字列で指定します。getElementsByNameメソッドの場合は「name」を、getElementsByClassNameメソッドの場合は「class」を、getElementsByTagNameメソッドの場合は「tag」で指定します。

引数elementNameは必須項目で、メソッドの引数を文字列で指定します。引数methodTypeに「name」を指定した場合はid名を、「class」を指定した場合はclass名を「tag」を指定した場合はタグ名を指定します。

引数keywordsは必須項目で、要素内の一意のキーワードを文字列で指定します。「要素内の一意のキーワード」というのは、抽出したい要素データ内で他とまったく被らないキーワードのことを指します。

例えば下記の事例で販売価格を抽出したい場合、「円(税込)」というキーワードは他では利用されていないキーワードですので、こちらを「一意のキーワード」と判断します。

こちらの詳細については、「文書ドキュメント取得の処理の考え方」を確認してください。

<table>
<tr>商品名</th><td>商品A</td></tr>
<tr>販売価格</th><td>1,500円(税込)</td></tr>
<tr>カラー</th><td>ブラック、ホワイト、レッド</td></tr>
<tr>サイズ</th><td>32*25cm</td></tr>
</table>

引数valueTypeは必須項目で、データ取得のプロパティ名を文字列で指定します。データ取得のプロパティは「innerHTML」「innerText」「outerHTML」「outerText」の4つになります。

詳細については、「HTMLコードを取得する」を確認してください。

Dim objDoc As Object, myDoc As Object

※ドラッグ(スワイプ)すると全体を確認できます。

こちらは、変数宣言でメモリ領域を割り当てるDimステートメントを利用してオブジェクト変数objDoc,myDocに「オブジェクト型(Object)」を変数宣言しています。

先に説明すると、データ型はオブジェクト型(Object)を利用せず、より具体的なデータ型を宣言するほうがよいとされています。理由としては、補助入力機能など利便性のよさなどが挙げられます。

こちらについては本来であれば、「HTMLParaElement型」または「HTMLDocument型」などを指定するのがよいのでしょうか処理速度の観点からいうと必ずしもよいというわけではなりません。

他にもいくつか検証したのですが、以下のようにHTML関連のデータ型を選択した場合とオブジェクト型(Object)ではどれもオブジェクト型(Object)を選択した方が処理速度が速い結果となりました。

ですので、こちらで解説している内容のほとんどはオブジェクト型(Object)を選択しています。特に変更してもらっても問題ありませんので、自由に変更してください。

回数・処理オブジェクト型(Object)HTMLParaElement型HTMLDocument型
1回目27.3418秒31.6074秒31.9866秒
2回目28.3105秒34.0234秒33.9478秒
  Select Case methodType

    Case "name"
  
      Set objDoc = objIE.document.getElementsByName(elementName)
    
    Case "class"
  
      Set objDoc = objIE.document.getElementsByClassName(elementName)
    
    Case "tag"

      Set objDoc = objIE.document.getElementsByTagName(elementName)

  End Select

※ドラッグ(スワイプ)すると全体を確認できます。

こちらでは、複数の条件分岐を設定するSelect Caseステートメントを利用して引数methodTypeの設定値で条件分岐させています。

こちらでは、getElementsByName・getElementsByClassName・getElementsByTagNameメソッドの中からどのメソッドを利用して抽出する要素を取得するかを選択しています。

こちらの条件分岐は極力処理速度の遅いgetElementsByTagNameメソッドを利用しないための処理です。一意のキーワードの要素にname・class属性が設定されている場合は、getElementsByName・getElementsByClassNameメソッドを利用するようにしましょう。

  For Each myDoc In objDoc

   (処理省略)

  Next

※ドラッグ(スワイプ)すると全体を確認できます。

こちらでは、For Each~Nextステートメントのコレクションに設定し、オブジェクト変数objDocを設定しています。これにより先ほど取得した要素数だけループ処理を行っています。

    With myDoc

      If InStr(.outerHTML, keywords) > 0 Then
    
        Select Case valueType

          Case "innerHTML"

            tagValue = .innerHTML

          Case "innerText"
             
            tagValue = .innerText
      
          Case "outerHTML"
 
            tagValue = .outerHTML

          Case "outerText"

            tagValue = .outerText

        End Select

        Exit For

      End If
    
    End With

※ドラッグ(スワイプ)すると全体を確認できます。

こちらではまず、Withステートメントのオブジェクト名に「myDoc」を設定しています。こちらは先ほど取得した要素コレクションのオブジェクトになります。

次にIf~Then~Elseステートメントを利用して要素内の文書ドキュメントに引数keywordsが含まれている場合に要素を抽出します。

一意のキーワード」が含まれているかの確認は、指定したキーワードで最初に見つかった文字位置を返すInStr関数を利用しています。キーワードが含まれている場合は必ず「0」以上の値を返すので、比較演算子を利用して「0」以上の場合を条件式としています。

そして、取得した値を戻り値tagValue代入演算子で格納したら処理が完了します。それでは、次にこちらのサブルーチンを利用して一意のキーワードを指定して特定の要素の文書ドキュメント取得してみましょう。

「tagValue」を利用して特定の文書ドキュメントを抽出するサンプルコード

こちらのVBAコードは、tagValueサブルーチンを利用して一意のキーワードが含まれるp要素の文書ドキュメントを取得するマクロです。

Sub sample()

  Dim objIE  As InternetExplorer
  
  'IE(InternetExplorer)でテストページを起動する
  Call ieView(objIE, "http://www.vba-ie.net/code/all.html")
  
  'getElementsByNameメソッドで文書ドキュメントを抽出する
  MsgBox tagValue(objIE, "name", "nametest3", "円(税込)", "innerText")
  
  'getElementsByClassNameメソッドで文書ドキュメントを抽出する
  MsgBox tagValue(objIE, "class", "classtest3", "円(税込)", "innerText")
  
  'getElementsByTagNameメソッドで文書ドキュメントを抽出する
  MsgBox tagValue(objIE, "tag", "td", "円(税込)", "innerText")
  
End Sub

※ドラッグ(スワイプ)すると全体を確認できます。

取得対象のHTMLコード

<table>
<tr>商品名</th><td>商品A</td></tr>
<tr>販売価格</th><td name="nametest3" class="classtest3">1,500円(税込)</td></tr>
<tr>カラー</th><td>ブラック、ホワイト、レッド</td></tr><tr>サイズ</th><td>32*25cm</td></tr>
</table>

解説

Sub sample()

  Dim objIE  As InternetExplorer

※ドラッグ(スワイプ)すると全体を確認できます。

こちらはSubステートメント引数の設定がないsampleプロシージャになります。 まずは、変数宣言でメモリ領域を割り当てるDimステートメントを利用してオブジェクト変数objIEに「InternetExplorer型」を変数宣言しています。

  'IE(InternetExplorer)でテストページを起動する
  Call ieView(objIE, "http://www.vba-ie.net/code/all.html")

※ドラッグ(スワイプ)すると全体を確認できます。

次に他のプロシージャを呼び出すCallステートメントを利用してieViewサブルーチンを呼び出しています。第一引数にはオブジェクト変数の「objIE」を第二引数には表示させるURL(アドレス)の「http://www.vba-ie.net/code/all.html」を設定しています。これによりInternetExplorerで本サイトのテストページが表示されます。

  'getElementsByNameメソッドで文書ドキュメントを抽出する
  MsgBox tagValue(objIE, "name", "nametest3", "円(税込)", "innerText")

※ドラッグ(スワイプ)すると全体を確認できます。

こちらは、tagValueサブルーチンを利用してname属性「nametest3」で「円(税込)」が含まれる要素の文書ドキュメントを抽出しています。

<td name="nametest3" class="classtest3">1,500円(税込)</td>

VBAのIE制御でgetElementsByTagNameメソッドを利用してデータを抽出した結果
  'getElementsByClassNameメソッドで文書ドキュメントを抽出する
  MsgBox tagValue(objIE, "class", "classtest3", "円(税込)", "innerText")

※ドラッグ(スワイプ)すると全体を確認できます。

こちらは、tagValueサブルーチンを利用してclass属性「classtest3」で「円(税込)」が含まれる要素の文書ドキュメントを抽出しています。

<td name="nametest3" class="classtest3">1,500円(税込)</td>

VBAのIE制御でgetElementsByTagNameメソッドを利用してデータを抽出した結果
  'getElementsByTagNameメソッドで文書ドキュメントを抽出する
  MsgBox tagValue(objIE, "tag", "td", "円(税込)", "innerText")

※ドラッグ(スワイプ)すると全体を確認できます。

こちらは、tagValueサブルーチンを利用してtdタグで「円(税込)」が含まれる要素の文書ドキュメントを抽出しています。

<td name="nametest3" class="classtest3">1,500円(税込)</td>

VBAのIE制御でgetElementsByTagNameメソッドを利用してデータを抽出した結果

こちらは3つとも同じ処理になります。どのメソッドを利用しても結果は変わりませんが、処理速度を計測すると以下のような結果になります。

回数・処理getElementsByNamegetElementsByClassNamegetElementsByTagName
1回目18.8594秒18.6211秒30.7654秒
2回目17.8475秒17.9542秒31.0094秒

getElementsByTagNameメソッドを利用すると処理速度が他に比べて遅くなるので、getElementsByTagNameメソッド以外で取得できる場合はそちらを利用しましょう。

ただし、何度も説明していますが、多くの処理を行うwebスクレイピングの場合に有効ですので、ログイン処理や短時間で済む処理の場合は簡単な方法を選択してください。

まとめ

今回は、一意のキーワードを指定して文書ドキュメントを抽出するサブルーチンの作成について解説しました。こちらは3つのメソッドを利用しましたが、getElementsByTagNameメソッドは処理速度が遅くなるので極力他のメソッドを利用して処理しましょう。次回は、指定した要素が存在するかチェックする方法について解説していきます。

次の記事: エクセルVBAで指定した要素が存在するかチェックする >>

Excel VBAでIEを思いのままに操作できるプログラミング術 Excel 2013/2010/2007/2003対応

IEのデータ収集&自動操作のプログラミング本はこの1冊だけ!IEの起動やポップアップウィンドウ、表示を制御する基本的なコードはもちろん、テキストボックスやラジオボタン、表、ハイパーリンクなどのHTML部品を制御する方法など、自動操作に欠かせないノウハウを丁寧に解説。

VBAのIE制御についてのQ&A掲示板

↑VBAのIE操作で分からない事があればこちらの掲示板よりご質問ください。

ExcelのVBA初心者入門

↑こちらはVBAをマスターできるよう初心者向けのエクセルVBA入門コンテンツになります。

目次

IE操作に便利なツール

こちらでは、これまでに紹介したIE(InternetExplorer)操作で便利な機能をツール化しています。無償でダウンロードできますので、目的に合わせたご利用ください。

IEのメソッド・プロパティ

こちらでは、IE(InternetExplorer)オブジェクトのメソッド・プロパティをまとめています。

IE操作のVBA関数

こちらでは、エクセルVBAのIE(InternetExplorer)操作で利用されたVBA関数をまとめています。

IE操作のステートメント

こちらでは、エクセルVBAのIE(InternetExplorer)操作で利用されたステートメントをまとめています。ExcelのVBAで基本的な部分になりますので、しっかり理解しましょう。

IE制御のVBAコード

こちらでは、これまでに作成したIE(InternetExplorer)操作で役立つサブルーチンをまとめています。
全てをコピーする必要はありませんが、目的に合わせたサブルーチンをご利用ください。