好物推薦- WebScarab

在寫爬蟲程式爬別人的網頁時，最怕遇到的是不知道底下送出哪些request parameter和header。

所我我們這時就需要Sniffer工具來監看這些request、response之間的conversation。

在這推薦一套不錯的工具,是由OWASP提供的WebScarab, 詳細資訊請參照: https://www.owasp.org/index.php/Category:OWASP_WebScarab_Project
及
https://www.owasp.org/index.php/WebScarab_Getting_Started

WebScarab主要運作方式是運用Proxy來做攔截,
request --> Proxy(WebScarab, 攔截通訊) -->目標網站

裏頭還有很多好用功能, 大家一起來挖寶吧~

HTML unicode轉Java unicode字串

將html原始碼裡的&#XXXX;轉成Java String:
請參閱 - http://blog.xuite.net/akuox/caffeine/56839711