Posts for: #Golang

Go で簡単なクローラーを書いてみた

最近、会社で非同期処理が辛い的な話をよくします。

個人的には Go を推しているので、せっかくだから簡単なクローラーを Go で書いてみました。

作ったやつ

  • 起点となるURLを指定する。

  • 取得した HTML の a タグで指定してあるURLを次に参照する。

  • 同じURLは一度だけ参照。

  • Webページの取得は非同期に。

  • クロールする深さを指定できる