Oh! WebLoG

アダルトサイト運営したり、健全なアフィリエイトしたり、フリーランスで仕事してみたり

web製作

rubyでのクローラー/アダルトサイト、500セッション行った

更新日:

rubyでのクローラーの作成について

とりあえず、画像系のアダルトサイトで画像集めるのが凄いしんどいため、ある程度自動化できる部分は自動化していく所存。とりあえずrubyでクローラーつくって、指定したURLのページ内に掲載されているエロ画像集めてタイトルつけてローカルに保存するプログラムを組んでみる。調べてみたら簡単そうだったし。画像取ってくるサイトをある程度決め打ちしてプログラムつくって、実装の変え方で他のサイトから取ってくるものに仕様を変更する所存。

ちょいと今は他のことで忙しいため、週明けにつくって動かしてみる感じ。使用するgemはnokogiri、anemoneと定番のものを使って定番の画像を作成しようかと。

下記を参考サイトとして今は勉強中です。

参考サイト

・【スクレイピングのやり方#1】周りに勧められてスクレイピングなるものをしてみたいけど何すればいいのかわからなかったあの日の自分へ

http://vsanna.sakura.ne.jp/wp/2015/01/scraping_start_up/

タイトル長いけど全三部作でhtmlの構造についてから説明してくれています。

 

・Nokogiri の基本(翻訳版)

http://www.engineyard.co.jp/blog/2012/getting-started-with-nokogiri/

Nokogiriの製作者による説明を翻訳したものだそうです。読んでいてわからない部分は調べながら勉強しています。

こんなサイトを移動中なんかにnexus7で見て勉強しています。新しいこと覚えて使えるのって楽しい


アダルトサイトについて

とりあえずアダルトサイトについては500セッションいった。先週200代後半から300代ちょっとぐらいをウロウロしていたことを考えると突然倍近くの数値に上がったのだからよろこんでいいのではないのかと思っている。それとここ数日のアクセスの増加について、ウェブマスターツールを見ていたところ、 「クロールの統計情報」ページにてクロールの頻度が上がっていた。

・Googleウェブマスターツール クロールの統計情報に注目! クロールが急増すると!?

http://wind-mill.co.jp/iwashiblog/2014/11/webmastertool-crawl/

調べてみたところ、クロールの頻度がいきなり上がるとアクセス数が増加するそうな。ただ原因までを分析している情報がなかったし僕で考えても下手の考えになっちゃいそうなのでそういうもんか、と思うだけにしている。

それと広告の掲載の仕方についてもうちょっとターゲットを分析して掲載の仕方とかを考えてやってみようかと思っている。ちゃんと考えてやろう、うん。

prof

no-ie

くま

己の不健康さにほとほと嫌気が指しました

menu

カテゴリリスト

新着記事

月別記事一覧