Web制作を行っている企業様からは、「検索サイトをつくりたいけどデータがない」とご相談を受けます。検索サイト制作には大量のマスターデータが必要となり、自分たちでデータを取得しようとすると時間がかかったり、費用がかかったりします。また、取得したデータを整えるのも大変でしょう。今回はPigDataスクレイピング代行、Web制作企業様の「検索サイト制作のためのマスターデータを取得したい」という事例をご紹介します。
スクレイピングでマスターデータを取得
検索サイト作成のための大量のデータは他Webサイトから収集できます。それをひとつひとつWebサイトを見に行って、データを取得することは大変です。そこで、スクレイピングを利用すると早く、安価に大量のデータを一括で収集でき、さらにExcelなど整ったかたちでデータを取得することができます。
スクレイピングとは？DX推進のカギに！事例を用いて外部データ活用の可能性をご紹介
検索サイトコンテンツのマスターデータ取得事例
例えば、病院検索サイトを制作する際には、全国の病院の住所や電話番号、診察時間などさまざまなデータが必要となります。今回はそれらのデータがすでにまとまっているポータルサイトからマスターデータを取得しました。スクレイピングを利用すると、特定のキーワードを検索フォームに入れた検索結果からさらに「詳細」ページにあるデータを一括取得することができます。
これがマスターデータとなり、検索サイトを制作する際に役立ちます。
参照：病院検索ここカラダ
取得データ例
取得したデータでサイト構築の際には著作権に注意
スクレイピングで必要なデータを手に入れることができました。しかしスクレイピングは法律によって、取得したデータをWebサイトに直接掲載すると著作権の侵害にあたる可能性があります。
【IT弁護士監修】スクレイピングは違法？法律に基づいて徹底解説
だからといって、そのデータが使えないことはありません。
きちんと工程を踏むことで、スクレイピングのデータを利用しても違法にならず、新たな検索サイトを制作することが可能です。
PigDataスクレイピング代行では、スクレイピングからデータ整形、Web構築までお手伝いすることが可能です。大量のデータが必要、それを使って検索サイトをつくりたい、といった場合には是非ご連絡ください。