Popular Posts(last24hours)

plaggerのスクレイピング関連

※IT系の記事は当方環境での実施内容となるため実施する場合は自己責任でお願いいたします。

以前、plaggerでスクレイピングをしていた時の設定の残骸を一応残す。

CustomFeed-Config配下のyaml スクレイピングしてRSSの無いサイトのRSSを作っていたっぽいが。

author: XXXXX
match: http://hoge\.hoge\.co\.jp/hoge/hoge/
extract: <td class="title_row"><a href="(.+?)">(.+?)</a>.*?</td>
extract_capture: link1 title
extract_after_hook: $data->{link} = "http://hoge.hoge.co.jp".$data->{link1}

author: XXXXX
match: http://www\.hoge\.com/hoge/hoge/hoge\.cgi
extract: <tr bgcolor="#ffffff"><td align=center>(.+?)<font color="#..00..">(.+?)
</font></td><td>\s+<a href="(.+?)">(.+?)</a></td></tr>
extract_capture: title1 title2 link1 title3
extract_after_hook: |
  $data->{title} = $data->{title1}.$data->{title2}." ".$data->{title3};
  $data->{link} = "http://www.hoge.com/hoge/hoge/hoge.cgi".$data->{link1};

plagger/config配下のyaml

global:
  plugin_path:
    - /home/hoge/plagger/assets/plugins
  assets_path: /home/hoge/plagger/assets
  timezone: Asia/Tokyo
  log:
    level: debug

plugins:
  - module: Subscription::Config
    config:
      feed:
        - http://hoge.hoge.co.jp/hoge/hoge/
  - module: CustomFeed::Config
  - module: Publish::Feed
    config:
      format: RSS
      dir: /var/www/html/rss/
      filename: hoge.rss

#######
global:
  plugin_path:
    - /home/hoge/perl/Plagger/Plugin
  assets_path: /home/hoge/plagger/assets
  timezone: Asia/Tokyo
  log:
    level: debug

plugins:
  - module: Subscription::Config
    config:
      feed:
        - http://www.hoge.com/hoge/hoge/hoge.cgi
  - module: CustomFeed::Config
  - module: Publish::Feed
    config:
      format: RSS
      dir: /hoge/httpdocs/rss/
      filename: hoge.rss
  - module: Publish::JavaScript
    config:
      dir: /hoge/httpdocs/js/
      filename: hoge.js

 

【PR】最近楽天で購入した商品

こちらもなかなかのボリューム。子供が綺麗に折り紙を折れるようになると、成長が感じられて、嬉しい。かんたん・かわいい・楽しい! 決定版 おりがみ大図鑑 大ボリューム!190作品がオールカラーでわかる! [...]

この手のやつは、いったいどういう仕組みで絵とペンの音声をマッチさせているのか不思議。もの凄いボリュームなので、子供も飽きずに楽しめます。音で学べる!英語ことば図鑑5000 タッチペンつき [ アレン玉 [...]

いつの間にか、黎明篇の続きが!前回で完結したとばかり思っていたので、これは嬉しい。そして、めちゃくちゃ面白い!宇宙戦艦ヤマト 黎明篇 第2部 マリグナント・メモリー [ 塙 龍之 ]価格:1,650円 [...]

Tips

Posted by admin