一、创建爬虫项目
1、进入E:ITPYthon,在地址栏输入cmd,进入cmd命令提示符，依次输入以下代码：
scrapy startproject stock
cd stock
scrapy genspider sina finance.sina.com.cn/stock
看到Created spider ‘sina’ using template ‘basic’ in module:
stock.spiders.sina时，代表爬虫项目创建成功。
2、打开pycharm，open目录E:ITPYthonstockstock，开始编写代码
二、编写代码：
1、进入E:ITPYthonstockstocksettings.py,开始进行设置，设置的项如下：
④ITEM_PIPELINES = { ‘stock.pipelines.StockPipeline’: 300,}
2、进入E:ITPYthonstockstockitems.py，开始编写代码，代码如下：
3、进入E:ITPYthonstockstockspiderssina.py编写代码，代码如下：
三、运行代码
1、创建E:ITPYthonstockstockspidersrun.py文件，用来执行代码
2、在E:ITPYthonstockstockspidersrun.py里编写代码，代码如下：
3、在E:ITPYthonstockstockspidersrun.py的空白处右键选择RUN ‘run’命令，即可运行代码，最后可以发现在当前的E:ITPYthonstockstockspiders目录下新建了一个文件，文件名为items.json,打开json可以查看所有的爬取到的数据，如下所示：
四、完整的项目图片示例
如下图所示：
请问用C#如何提取新浪等网站的股票实时动态行情数据？
找到一个利用webservice的方法，希望能够帮助你
声明: 这篇文章适合在C#命令行编译器下的开发借鉴,对于已经装了MS.NET的朋友,开发客户端时将会更容易一些,我随后对登出我自己的开发程序,这篇文章为我摘录的.摘录URL:http://www.knowsky.com/2016.html
(一)
Web Services，即Web服务，是微软.NET战略中非常重要的一个概念。它的目的是将Web站点转变为集组织、应用、服务以及设备于一体的可设计Web站点，使Web站点不再处于被动的地位。
本文将介绍如何建立和使用一个在.NET 平台上提供股票报价的Web服务。我们将使用Yahoo的一项以CSV（以逗号分隔的值）的格式提供股票报价的免费服务，将其包含在我们的web 服务中。
注意：这个报价服务例程的运行大约延迟15分钟，只用于教学目的。
建立Web服务
下面将采用逐步讲解代码的形式来帮助你理解在.NET 中Web服务的编程模式。我们可以使用notepad等任何文本编辑器来编写 这里的Web服务例程代码，最后将文件存储为StockQuote.asmx。请注意：所有的Web服务文件保存时都使用扩展名 *.asmx。
＜%@ WebService Language="C#" class="DailyStock" %＞
代码的第一行定义了一个 Web 服务，使用的语言是C#。class属性用来指示Web服务应该调用和使用的类。如果在Web服务中使用了许多类，那么就应该用这个属性来表明Web服务应该首先调用的类。
using System ;
using System.Web.Services ;
using System.Net ;
using System.IO ;
using System.Text ;
以上代码负责引入必要的名称空间。 请记住永远都要引入System.Web.Services这个名称空间。根据类的需要，再引入保留的名称空间。
public class DailyStock : WebService
{
……
….
}
这里我们将公共类定义为 DailyStock，它扩展了 System.Web.Services.WebService 类。所有想暴露为 Web服务的类都应该扩展System.Web.Services.WebServices类。 另外，Web 服务的存取修饰语永远都是public。
[WebMethod]
public string GetQuote(string symbol)
{
……..
……..
}
以上我们定义了一个公共Web方法 GetQuote。同类的定义一样，Web 方法也都要用 public这个修饰语来声明。 [WebMethod] 属性呈现出将要被用在Web服务中的一些潜在方法，希望客户存取的所有方法都应该用[WebMethod] 属性进行标记。GetQuote方法接受一个字符串输入参数，它包含了使用者所需要的报价符号。这个方法返回一个字符串，其中包含股票报价或错误
string ret;
try
{
// The Path to the Yahoo Quotes Service
string fullpath = @"http://
// Create a HttpWebRequest object on the Yahoo url
HttpWebRequest webreq = (HttpWebRequest)WebRequestFactory.Create(fullpath);
// Get a HttpWebResponse object from the Yahoo url
HttpWebResponse webresp = (HttpWebResponse)webreq.GetResponse();
// Create a StreamReader object and pass the Yahoo Server stream as a parameter
StreamReader strm = new StreamReader(webresp.GetResponseStream(), Encoding.ASCII);
// Read a single line from the stream (from the server)
// We read only a single line, since the Yahoo server returns all the
// information needed by us in just one line.
ret= strm.ReadLine();
// Close the stream to the server and free the resources.
strm.Close();
}
catch(Exception)
{
// If exception occurred inform the user
ret="Exception Occurred" ;
}
file://Return the Quote or Exception
return ret ;
以上是GetQuote 方法的内容。这里使用一个 try-catch模块来截获从Yahoo中得到股票报价的过程中可能发生的错误。在 try-catch模块内部声明了一个字符串变量，这个变量中保存着获取yahoo服务的完整路径，用户提供的symbol字符串变量被加到这个连接字符串上。
路径建立好之后，就要从连接字符串中构造一个 HttpWebRequest对象和一个 HttpWebResponse 对象。接着，用StreamReader打开一个到Yahoo
(二)
配置Web服务
配置Web 服务与一个配置ASP.NET应用程序相同。如果自己有Web服务器，那么就创建一个称为stockquote 的虚拟目录，然后将 StockQuote.asmx复制到这个目录中。如此就完成了Web 服务的配制。要调用Web服务，首先启动浏览器，然后键入Web 服务的路径，如 http://localhost/stockquote/StockQuote.asmx，接着看到的页面就是由Web服务运行时间环境自动生成的结果。在文本框中键入符号，例如AOL 或 MS，再点击invoke按钮，这时就会弹出一个新的窗口，在其中向你显示了Web服务的输出信息。
使用Web服务
基本上有两种使用Web 服务的方法。可以通过浏览器直接调用 Web 服务，并按照上面介绍的方法来使用它。或者，也可以在应用程序使用它。下面就看看如何建立一个Web 应用程序和一个控制台应用程序，通过它们来使用Web服务。当然，也可以使用Win Form 应用程序作为替代来使用Web 服务。
获取服务的描述
为了与Web服务进行通信，客户应该知道这个Web服务支持哪种方法以及如何与它们进行通信。.NET 上的Web服务自动用SDL（服务描述语言）产生一个 XML格式文档，这样就使客户能够获取与Web服务通信时所需要的信息。 在Web 服务URL之后附加 ?SDL 使Web服务生成客户能够使用的SDL文档。要查阅这里接受的Web 服务的SDL，可以在浏览器中键入http://localhost/stockquote/StockQuote.asmx?SDL。
(三)
构造代理库
.NET 平台上的应用程序可以使用代理库来调用Web服务上的方法，这样使用Web服务就非常容易。生成代理库的第一步是从SDL中生成一个Web服务的代理类。.NET SDK提供了一个叫做WebServiceUtil.exe的工具，它能够帮助我们生成一个代理类。要生成Web服务的代理类，首先进入命令行环境，然后转到将要开发客户应用程序的那个目录，接着输入以下命令：
WebServiceUtil /c:proxy /pa:http://localhost/stockquote/StockQuote.asmx?SDL /n:Quotes
以上命令执行后，会在运行这个命令的目录中生成一个 C# 源代码文件，叫做 DailyStock.cs （要记住Web服务类的名称也是 DailyStock,）。现在来看这些自变量的含义：
l /c:proxy：告诉WebServiceUtil生成一个代理类
l /pa:http://localhost/stockquote/StockQuote.asmx?SDL：向SDL提供Web服务的路径。如果已经将Web服务的SDL 保存到了硬盘上，我们甚至可以提供SDL文件的本地路径。
l /n:Quotes：告诉WebServiceUtil将代理类放在 Quotes名称空间。这样做的目的是为了更容易地管理和使用代理库。
代理库准备好之后，我们使用C# 编译器从上面步骤中刚创建的代理类中生成一个代理库：
csc /target:library /r:System.dll;System.Web.Services.dll;System.Net.dll;
System.IO.dll;System.Xml.Serialization.dll DailyStock.cs
生成代理库的时候，我们使用了 /target:library开关以表示想要输出一个库文件。我们还引用一些曾经在Web服务中使用过的集合。编译器将在运行命令所在目录中生成一个名为DailyStock.dll 的dll 库。
(四)
创建 Web应用程序用户
下面创建一个Web应用程序StockConsumer.aspx，它作为这个StockQuote（股票报价） Web服务的第一个用户。
＜%@ Page language="C#" %＞
＜%@ Import Namespace="System.Xml" %＞
＜%@ Import Namespace="Quotes" %＞
以上引入必要的名称空间。要记住也要引入 Quotes名称空间，它是代理库的名称空间。
＜html＞
＜head＞
＜script runat=server＞
// Wire up the onClick event for a button
protected void button1_Click(object sender, EventArgs e)
{
file://Create a object of the class DailyStock (the proxy class)
DailyStock ds = new DailyStock();
// Call the GetQuote method of the proxy class DailyStock and
// pass the symbol string from the textbox
string res = ds.GetQuote(symbol.Text);
// The returned string has values which are separated
// by commas.
// Hence we split the returned string into parts
char[] splitter = {,} ;
string[] temp = res.Split(splitter);
// Check if the string array returned has more than one
// elements since if there are less than one elements
// then an exception must have been returned
if(temp.Length >1)
{
// The WebService returns a lot of information about the
// stock. We only show the relevant portions
// Set the label to current Index
curindex.Text = "Current Index :"+temp[1];
// Set the label to current Date Time
curdate.Text ="Last Update on"+temp[2]+" at "+temp[3];
}
else
{
error.Text = "Error :"+res ; file://set the error label
}
}
＜/script＞
以上ASP.NET页面代码中，首先对Web 服务DailyStock进行例示。由于已经生成了代理库，因此Web服务的调用方法与其它任何库的调用方法都相同。调用DailyStock 类的GetQuote()方法后，将返回一个字符串，其中包含了以逗号分隔的列表符号的完整信息。
我们将限制显示给客户的信息为只显示当前指数和所报告指数的日期/时间。为了将字符串分成若干不同的部分，这里使用了字符串类的Split方法，在出现逗号的地方将字符串分割成部分。并且，将分割开的字符串组成数组之后，再使用相关的数值为Web页面设置不同的标签。
代码的其余部分
＜body＞
＜center＞
＜h2＞.NET101 Stock Quote Consumer ＜/h2＞
＜form runat=server ＞
＜table border=1 celspacing=1＞
＜tr＞＜th＞Please enter the symbol below＜/th＞＜/tr＞
＜tr＞＜td＞
＜asp:textbox id=symbol runat=server /＞
＜asp:button id=button1 text="Get Quote" onClick="button1_Click" runat=server /＞
＜/td＞＜/tr＞
＜tr＞＜td＞＜asp:label id=curindex runat=server /＞＜/td＞＜/tr＞
＜tr＞＜td＞＜asp:label id=curdate runat=server /＞＜/td＞＜/tr＞
＜tr＞＜td＞＜asp:label id=error runat=server /＞＜/td＞＜/tr＞
＜/table＞
＜/form＞
＜/center＞
＜/body＞
＜/html＞
(五)
小结
下面总结一下配置Web应用程序的步骤：
l 创建一个叫做StockConsumer的虚拟目录
l 将 StockConsumer.aspx 文件复制到这个虚拟目录下
l 在wwwroot 文件夹中创建一个 bin 虚拟目录
l 设置bin目录以执行代码的权限
l 将代理 dll 文件DailyStock.dll复制到这个目录下，ASP.NET 运行时间引擎会自动从Bin目录中选择对外部库的引用。这里的例子中，这个外部库是DailyStock.dll。
现在调用文件 http://localhost/StockConsumer/StockConsumer.aspx，然后键入股票的符号，点击 "Get Quote"（获取报价）按钮，就能看到正在使用的Web服务了。注意：Web服务应该能够使用yahoo服务器，否则它就会返回一个错误信息。
如何通过软件抓取新浪财经里单只股票数据
可以通过在沪深交易所网站获得股票代码表,实时获取该股票指定时间段的股票数据。
股票是股份公司发行的所有权凭证，是股份公司为筹集资金而发行给各个股东作为持股凭证并借以取得股息和红利的一种有价证券。每股股票都代表股东对企业拥有一个基本单位的所有权。每支股票背后都有一家上市公司。同时，每家上市公司都会发行股票的。
同一类别的每一份股票所代表的公司所有权是相等的。每个股东所拥有的公司所有权份额的大小，取决于其持有的股票数量占公司总股本的比重。
股票是股份公司资本的构成部分，可以转让、买卖，是资本市场的主要长期信用工具，但不能要求公司返还其出资。
