C# 爬蟲 含 cookie設定

主要是參考 https://dotblogs.com.tw/Lance_Blog/2019/03/10/114838#google_vignette

首先要下載 HtmlAgilityPack 在 Nuget中有








接著設定 Request 和 Response

這邊是採用PTT的表特版來當作操作方法

    //取 url 可以任意更改

    Uri url = new Uri("https://www.ptt.cc/bbs/beauty/index.html");


    #region 設定是否有搜尋條件等

    string search = "www";

    url = new Uri($"https://www.ptt.cc/bbs/Beauty/search?q={search}");

    #endregion


    //建立request

    HttpWebRequest req = (HttpWebRequest)WebRequest.Create(url);

    //設定request 方法

    req.Method = "POST";

    //設定cookies 某些網站可能有防止機制

    _cookies.SetCookies(url, "over18=1");

    req.CookieContainer = _cookies;

接著中間有一部分是關於 Cookies的設定

如果未設定的話


會呈現這個樣子 因為你爬回來的東西是他的未成年防護 而不是主要內容頁面

關於Cookie設定

建立cookies

CookieContainer _cookies = new CookieContainer();

設定

     _cookies.SetCookies(url, "over18=1");

寫入

    req.CookieContainer = _cookies;

接著取得資料後呈現


    //取得資料

    HttpWebResponse res = (HttpWebResponse)req.GetResponse();

    var stream = res.GetResponseStream();


    //走訪資料

    using (var reader = new StreamReader(stream))

    {

        //讀取資料 HTML代碼

        string html = reader.ReadToEnd();

        //丟入Document中 供讀取

        var doc1 = new HtmlDocument();

        doc1.LoadHtml(html);

    }

主要資料在doc1中 轉換成htmlDocument讀取


接著取得目標的xpath


這樣可以取得一串字串 比如 //*[@id="main-container"]/div[2]/div[{i}]/div[2]/a

丟入

doc1.DocumentNode.SelectNodes($"//*[@id='main-container']/div[2]/div[{i}]/div[2]/a") 可以取得Node陣列 通常是都只取一個

 因此

doc1.DocumentNode.SelectNodes($"//*[@id='main-container']/div[2]/div[{i}]/div[2]/a")[0] 就可以取得資料了

然後在自己判斷哪個div需要依照需求去更換取值 大致上就是這樣完成一個爬蟲





//程式碼部分

CookieContainer _cookies = new CookieContainer();

 void ClearCookie()

{

    _cookies = new CookieContainer();

}


void WebLoad()

{

    //取 url 可以任意更改

    Uri url = new Uri("https://www.ptt.cc/bbs/beauty/index.html");


    #region 設定是否有搜尋條件等

    string search = "www";

    url = new Uri($"https://www.ptt.cc/bbs/Beauty/search?q={search}");

    #endregion


    //建立request

    HttpWebRequest req = (HttpWebRequest)WebRequest.Create(url);

    //設定request 方法

    req.Method = "POST";

    //設定cookies 某些網站可能有防止機制

    _cookies.SetCookies(url, "over18=1");

    req.CookieContainer = _cookies;

    //取得資料

    HttpWebResponse res = (HttpWebResponse)req.GetResponse();

    var stream = res.GetResponseStream();


    //走訪資料

    using (var reader = new StreamReader(stream))

    {

        //讀取資料 HTML代碼

        string html = reader.ReadToEnd();

        //丟入Document中 供讀取

        var doc1 = new HtmlDocument();

        doc1.LoadHtml(html);


        #region 爬資料

        List<string> title = new List<string>();

        List<string> author = new List<string>();

        List<string> date = new List<string>();

        //控制筆數

        for (int i = 2; i < 100; i++)

        {

            //取xpath 令附圖支援

            if (doc1.DocumentNode.SelectNodes($"//*[@id='main-container']/div[2]/div[{i}]/div[2]/a") != null)

            {

                title.Add(

                    doc1.DocumentNode.SelectNodes($"//*[@id='main-container']/div[2]/div[{i}]/div[2]/a") == null ?

                    "" : doc1.DocumentNode.SelectNodes($"//*[@id='main-container']/div[2]/div[{i}]/div[2]/a")[0].InnerText);

                author.Add(

                    doc1.DocumentNode.SelectNodes($"//*[@id=\'main-container\']/div[2]/div[{i}]/div[3]/div[1]") == null ? "" :

                    doc1.DocumentNode.SelectNodes($"//*[@id=\'main-container\']/div[2]/div[{i}]/div[3]/div[1]")[0].InnerText);

                date.Add(

                    doc1.DocumentNode.SelectNodes($"//*[@id=\'main-container\']/div[2]/div[{i}]/div[3]/div[3]") == null ? "" :

                    doc1.DocumentNode.SelectNodes($"//*[@id=\'main-container\']/div[2]/div[{i}]/div[3]/div[3]")[0].InnerText);

            }

            else break;

        }

        #endregion

    }

}


參考:

https://ithelp.ithome.com.tw/articles/10204709

https://igouist.github.io/post/2022/06/angle-sharp/

https://dotblogs.com.tw/Lance_Blog/2019/03/10/114838#google_vignette

留言

張貼留言

這個網誌中的熱門文章

無法載入檔案或組件 'System.IO.Compression' 或其相依性的其中之一。

圖片
曾經在拿取檔案的時候發生過這個問題 我不清楚究竟是版本的問題還是(應該不是版本的問題，因為我從我的夥伴手中拿它可以跑的程式，修改Config後仍然有問題) 主要的問題可能是因為package的問題，時常因為package跟參考以及nuget和WebConfig有不同而出現版本問題 遇到上述問題的話可能都要檢查以上三個檔案 建議是直接複製查詢 然後把「你認為不該存在的」參考給移除。 我自己本人是只留下參考中的檔案，是會把package和WebConfig的依賴給註解後再使用nuget重新安裝。 題外話抱怨 package.Config貌似就是參考的引入，但是不知道為啥連那邊都會跟參考互相衝突，微軟真的不打算修一下逆? 補充說明: 比如說遇到這個錯誤 上面有寫明說 Newtonsoft.Json culture = neutral publicKeyToken = 30ad4fe6b2a6aeed version = 6.0.0.0 就可以在web.config中寫這段加入  <dependentAssembly>    <assemblyIdentity name="Newtonsoft.Json" culture="neutral" publicKeyToken="30ad4fe6b2a6aeed"/>    <bindingRedirect oldVersion="0.0.0.0-6.0.0.0" newVersion="6.0.0.0"/>  </dependentAssembly> oldVersion - 那些版號要對應 - 可以用 - 來包含版號區間。 注意，newVersion不代表一定比oldVersion高。換句話說也有可能高版本全部要用低版本的dll（不過這種情景比較少 ，因為一般都是高版本會向下兼容） 不過這種方法不太建議，一律建議使用最上面的方法 參考 http://shaurong.blogspot.com/2020/02/systemiocompression.html
閱讀完整內容

MongoDB 入門

圖片
 MongoDB是一個NoSQL(非關聯性資料庫) 主要的儲存方式是 一個DB => 底下為一個Collection (類似Table) => 接著是文檔(docume) 存的資料型態為 BSON 是一種JSON的變體 如這樣 ID 自動生成 如SN 為唯一值 name sort之類的數值都是自己產生的 常用語法 通常都是以 db.CollectionName 開頭 find() 類似where 不輸入為全搜尋 insertOne({colname : data , colname2 :"data2"}) insert 用逗號分隔 insertMany([{colname : data} , {colname2 :"data2"}]) 如上 只是有中括號用來代表陣列 find().limit(N) 只回傳N筆 類似select() find().skip(N) 略過N筆後 類似skip() find().sort({colname : 1 , colname2 : -1}) 1是升冪 -1降冪 find()進階 => find({colname : 3} , {colname : 1 , colname2 : 0}) 這段的意思是 依照前面大括內的where 搜尋後 依照後面的select 條件選出 1是要輸出 0是不要輸出 假如只有0 則是 除了這些以外都要輸出  通常 1 跟 0 同時出現的時候是 _id這個字樣 因為這個是會自動返回的字樣 find(colname : {$gt : 3})  gt 大於 lt 小於 gte 大於等於 lte 小於等於 eq 等於 in => {$in :[ 1 , 3]} 一或三 nin => {$nin :[ 1 , 3]} 不等於1 或 3 都出 colname : { $exists : 1 } 代表這個colname存在的話則顯示 (nosql 因此型態可能不同) 0則是沒有的顯示 colname : {$regex :{/data/}} 正則表達式 找所有data  countDocuments() 總數 ex 找大於等於3小於等於5的 db.CollName.find(colname : {$gte : 3 , $let : 5}) 參考 : h...
閱讀完整內容

javascript 更改屬性及創建標籤

雖然應該是一些很基本的東西 但是我的前端其實蠻破的，所以筆記一下關於這個東西 //-----------------------------------1 如果要呈現某種屬性的話 就用 document.querySelector('id').setAttribute('readonly', true); 如果要刪除(隱藏)某種屬性的話就用 document.querySelector('id').removeAttribute('readonly'); //-----------------------------------2 $(document).ready(function () {         //取目標Tag為img者          //getElementsByTagName 不能使用forEach走訪 只好使用for走訪         var varTaglist = document.getElementsByTagName('img');         for (let i = 0; i < varTaglist.length; i++) {             //走訪建立id用於區分點選的目標             varTaglist[i].setAttribute('id', 'imgID' + i)             //走訪建立onclick屬性             varTaglist[i].setAttribute('onclick', 'imgclick(id)');         }     });     //設定屬性值 part2     var imgclick = function ...
閱讀完整內容