采集信息

using System;

using System.Collections.Generic;

using System.Linq;

using System.Web;

using System.Web.UI;

using System.Web.UI.WebControls;

using LitJson;

using System.Data;

using System.Data.SqlClient;

namespace BaiduZhidao

{

    public partial class Baidu_josn : System.Web.UI.Page

    {

        protected void Page_Load(object sender, EventArgs e)

        {

            SqlDataReader dr = DBHelper.GetExecuteReader("select * from 表1 where flag is null order by id asc", false);

            while (dr.Read())  //读取所有记录

            {

                int id = Convert.ToInt32(dr["tid"].ToString());

                string keywords = dr["内容"].ToString();

                string url = "http://wapiknow.baidu.com/msearch/ajax/getsearchlist?word=" + keywords;

                #region

                CreateHtml ch = new CreateHtml();

                string data = ch.GetHtml(url);

                try

                {

                    JsonData jd1 = JsonMapper.ToObject(data.ToString());

                    int total = Convert.ToInt32(jd1["data"]["total"].ToString()) / 10;

                    for (int k = 0; k < total; k++)

                    {

                        string url3 = "http://wapiknow.baidu.com/msearch/ajax/getsearchlist?word=" + keywords + "&pn=" + k * 10;

                        string data2 = ch.GetHtml(url3);

                        JsonData jd = JsonMapper.ToObject(data2.ToString());

                        if (jd["data"]["entry"] != null)

                        {

                            DataTable dt = attribute.GetTable();

                            for (int i = 0; i < jd["data"]["entry"].Count; i++)

                            {

                                string title = jd["data"]["entry"][i]["title"].ToString();

                                int replyNumber = Convert.ToInt32(jd["data"]["entry"][i]["replyNumber"].ToString());

                                string pageid = jd["data"]["entry"][i]["id"].ToString();

                                string aid = jd["data"]["entry"][i]["aid"].ToString();

                                string url2 = jd["data"]["entry"][i]["url"].ToString();

                                string qDesc = jd["data"]["entry"][i]["qDesc"].ToString();

                                if (replyNumber > 0)

                                {

                                    string pageurl = "http://wapiknow.baidu.com/msearch/ajax/getsearchqb?qid=" + pageid + "&rid=" + aid;

                                    JsonData jd2 = new JsonData();

                                    string data3 = ch.GetHtml(pageurl);

                                    DataRow r = dt.NewRow();

                                    try

                                    {

                                        jd2 = JsonMapper.ToObject(data3.ToString());

                                        r[3] = jd2["data"][0].ToString();

                                        if (jd2["data"]["imgUrl"] != null)

                                        {

                                            r[6] = jd2["data"]["imgUrl"].ToString(); ;

                                        }

                                    }

                                    catch

                                    {

                                        // throw;

                                    }

                                    r[0] = 1;

                                    r[1] = id;

                                    r[2] = title;

                                    r[4] = qDesc;

                                    r[5] = pageurl;

                                    dt.Rows.Add(r);

                                }

                            }

                            attribute.BulkToDB(dt, "TableQuestion");

                        }

                    }

                }

                catch

                { 

                

                }

                #endregion

            }

            dr.Close();

            Response.Write("OK");

        }

    }

}