前言：中文期刊网精心挑选了采集技术范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
采集技术范文1
中图分类号：TM764 文献标识码：A 文章编号：1006-8937（2013）15-0124-02
随着科学技术的不断发展，尤其是近些年来计算机技术、通信技术在电力系统中的应用越来越广泛，电能计量的手段和技术也发生了根本的变化，传统的人工抄表方式也逐渐被时代所淘汰，远程自动抄表采集已是电量采集技术发展的大趋势。通过这些改进的技术可以实现电量采集方式的根本转变，提高电能管理的效率，为智能电网的建设和运营提供更多的信息。本文对电量采集信息技术进行了分析。
1 我国现有的电量采集方式
当前我国对电量进行采集主要依靠如下方式进行实现：
①手工的电量采集方式。所谓手工的电量采集方式，就是依靠营销部电费管理人员到用电现场进行人工抄表，然后再根据抄表结果统一结算电费，这是一种最为原始的电费采集方式。
②预付费的自动计量方式。这种方式是通过IC卡将预付电费与用户所属的电度表进行结合，即让用户先交一部分钱购买电量，然后再对其进行自动计量，如果电量不够则自动断电的方式。这种方式能够实现电量的自动采集，但其主要弊端是IC卡被大量使用后，很容易被破解，且这种计费方式无法使电网公司对用户的用电情况进行及时的了解，难以对用户的用电规律进行准确的掌握。
③远程化的自动抄表采集方式。所谓远程化的自动抄表采集方式，就是通过对低压配电线路、无线电线路、电话线路和RS-485等多种通信媒体，并结合相应的微机监测控制系统，在不必到用电现场的情况下即可实现对用户电量的自动采集。其作为一种自动化程度较高、计费方式先进的电量采集方式，便于利用电网中现有的计算机及网络优势，同时有助于智能配电网中用户用电信息的采集。
2 现场总线技术在电量采集系统中应用特点
所谓现场总线控制，就是指在对电量采集过程中利用用电现场的自动化仪器所实现的能够将控制设备和计量设备相联系的一种串行的、双向的、多站式的网络通信。现场总线技术在电量采集上的应用有如下性能特点：
①现场总线技术将支持多种工作方式，在电力传输网络上的任意一个节点上通过相关的网络都可以实现对其他节点来发送信息，通信方式较为灵活。根据这一特点利用现场总线技术可以构成多种系统。
②在现场总线网络上可将其节点分为不同的优先等级，进而满足不同数据的实时要求。
③现场总线技术中可以实现非破坏的总线裁决，当出现两个或者两个以上的节点同时向网络传输数据时，能够确保优先级高的节点先传输数据，而优先级低的节点将主动停止相关数据传送。
④现场总线技术可以实现一对点和点对点的数据传送方式。
⑤利用现场总线技术所实现的最远通信距离可达到10 km，相关的通信频率可达到1 MB/s，在现场总线技术中相关的节点数可达到130多个，而采用相关的廉价双绞线即可实现相关通信。
3 电量数据采集与误差分析
3.1 脉冲电路
在原本的感应式电量采集技术的基础上，对电能计量装置加装脉冲变频器，即可实现脉冲电量采集，其具有两方面的优点：一是对相关的电量进行积累，二是对相关的电量脉冲信号进行反映，利用单片机来对电量脉冲进行计数并完成相关的分析和处理，进而得到被测的电量信息。当前，我国所使用的脉冲电量采集主要以普通的电磁感应电表为基础的，因此通过附加脉冲电路即可构成电量采集新型装置。为了便于对脉冲电度表的改造，我们利用光电反射式脉冲电路来构成相关的电路。这个电路的原理是利用传感器来对红外光进行发射，并根据所发射回来的红外光对电量信息进行计数。其所要求被检测的物体表面颜色必须是黑色的，这样才能有效对红外光对吸收和反射。相关脉冲电路的原理如图1所示。
3.2 误差的分析
电量采集新技术是在传统的电磁式电度表的基础上，通过附加相关的脉冲电路所构成的，其主要的改造方法是在电度表上加以适当的黑色记号作为标记，在其顶部布置相关的红外线发射管和接收管，当黑色的标记经过了发射与接收时，由于相关的反射信号的强度是不一样的，因此将形成一系列的触发脉冲。这种设计存在误差的原因为：
①电量采集精度受黑色标记安装位置及自然光的影响。
②当用电低谷时电度表转动较慢，特别容易出现脉冲丢失的现象。
对于情况1，通过改变接收管和标记之间距离来实现，将其距离增加为2 mm，进而对安装位置及自然光的影响进行消除。
对于情况2，通过增加采样的时间来进行解决。
4 电量采集新技术应用功能
4.1 提高电能的管理效率
通过电量采集新技术可以提高电能的管理效率，能够对相关的电量数据进行及时的跟踪，并进行有效的分析和利用，确保相关的电网运行人员对电量数据进行及时的掌握，使电网公司有效把握电力市场的需求，及时提出相应的应对方法满足用户的需求。
4.2 对电量的采集实现高效的监控
通过电量采集新技术的应用，可以实现对电能数据的远程控制与采集，这样就能够对人工半自动化抄表所存在的缺陷进行解决。电量采集新技术实现了远程的高效控制，能够有效降低相关的人工成本，对人力资源进行节约，同时还能够有效保障数据的可靠性和有针对性，为电网运营分析人员提供可靠的数据支撑的同时还有效提高了监控的效率。
4.3 对危险性进行及时的预见
通过应用电量采集新技术，电力系统能够实现对多种故障情况的预警，如相序错误、电压不稳、极性错误等，这些情况能够在运维检修部门得到及时的反应，进而得到及时的预防，这对增强整个电网的可靠性和安全性是非常重要的。应用电量采集新技术还能够实现电压质量的提高和线路稳定性的增强，便于用户更好地统计用电情况，保证了用户用的安全性和及时性。
通过应用电量采集新技术，可以实现远程的对电量通断进行控制，这样就能够有效保证电量输送的准确性，节约了人力和物力资源，并且能够对用户的用电情况进行及时的控制，避免了用户对电费的拖欠，提高了电力营销人员的工作效率。
4.4 多线程技术的应用
在电量采集新技术中，应用Windows系统中的多任务和多进程技术可以充分利用CPU的时间段，并根据一定的优先级将时间段划分为若干，在每个时间内都可以对CPU进行共享，并在微观上依次执行，在宏观上进行并发的运行。
在串口的通信方式中，每个串口对象是只有一个缓冲区的，在数据发送和接收过程中都需要进行利用，因此需要建立相关的数据同步机制，使得其在某一时刻只能进行一种操作，否则就会出现相关的通信错误。进行串口的通信在不同的进程中需要协调运行，本设计所采用的是并程的多线程技术，能够实现多线程数据的并发操作，这样不但提高了数据传输效率，而且还能够提高数据传输的实时性和可靠性。
5 结 语
在电力系统中应用电量采集新技术能够提高电量采集的精度，降低电量采集的人力、物力消耗，提高用户用电信息的采集，增强整个电力系统供电的可靠性及安全性，为电力营销人员和运检人员提供强力的数据支撑。
参考文献：
[1] 张恺，李祥珍，方成彦.信息时代的电能计量与管理模式[J].电力自动化设备，2000，（2）：11-13.
采集技术范文2
1 系统设计思想
本系统的设计目标是基于互联网实现远程站点之间的高保真准动态图像的实时传输。整个系统贯彻如下设计思想：发送站点和接收站点都具有对图像质量的控制功能，以适应互联网传输率不稳定的情况；对图像采用多种类型的压缩技术，以适应不同的图像分辨率和环境要求；在互联网信道传输率较差时，能够启动自适应功能。
2 系统设计中的关键技术和优化策略
2.1 视频采集技术分析和选择
为了实时视频采集，需要安装相应的视频采集设备。即视频采集卡和摄像头等。并需要安装相应的驱动软件来支持这些设备的运行。
实际运行过程表明，上述分析是正确的。本系统设计中采用了overlay模式。这一选择对稳定性起到了较好的优化作用。
2.2 视频压缩、解压缩技术的优选和优化
针对视频应用中可能遇到的各种情况，本系统的压缩、解压缩模块设计采用三种压缩方案，使用时可以从中选择一种，以适应不同环境和不同需求。
一是国际通用的高压缩比方案H.263，该方案压缩比高，但图像质量较差，适用于网络传输性能较差的情况，该方案大体符合现场图像的处理要求。二是图像压缩质量最好、算法最先进的MPEG-4方案，该方案图像质量好，但压缩比较低，适用于网络传输性能良好的情况。三是在H.263的基础上作了较大幅度修改和优化的TH.263方案，该方案在压缩比与H.263相近的情况下，图像质量有明显改善。TH.263方案是在对H.263深入分析基础上实施的。通过分析H.263的整个系统程序，得到其设计思想如下：首先将采集到的原始图像划分成8×8的宏块，然后判断此帧是不是关键帧。如果是关键帧，则对每个宏块作DCT（Discrete Cosine Transform）变换，对变换后的视频数据采用视觉能够接受的量化比量化，量化后许多高频分量将变成零，为了最大限度提高压缩编码效果，采用Z形扫描技术将其重新组合，然后对组合串做行程编码，最后对得到的结果进行哈夫曼编码；如果是非关键帧，则对每个宏块先进行运动矢量的计算，然后与上一幅图像作差，再象关键帧那样经过DCT变换、量化和行程编码、哈夫曼编码得到压缩的图像。图像解压缩与压缩过程正好相反，即先将压缩的图像数据作行程解码和哈夫曼解码，然后进行反量化，并据此进行IDCT变换。如果此帧是关键帧，则直接将这个宏块重组即得出还原后的图像；否则，根据运动矢量将各宏块的数据与上一帧进行组合才得出还原后的图像。由于解压缩不需要分析图像和网络的情况，也不需要考虑压缩比和压缩质量，只是简单地将图像还原，所以程序比较简单。通过分析和测试表明，格式转换、对关键帧和非关键帧离散余弦变换DCT、对非关键帧的帧间压缩是最重要最耗时的环节。为此，在设计中对这些环节进行了优化。
具体讲，在格式转换、DCT变换中，一是在采集到的RGB色彩空间图像到压缩算法视频输入格式CIF变换中，用整型算法和移位相结合的优化转换函数代替速度较慢的浮点运算；二是在关键帧和非关键帧的DCT变换中，采用零系数预测策略对DCT变换的输入数据分类，节省了大量无效运算；三是采用多媒体处理指令集MMX实现DCT变换，大幅度提高了运算速度。此外，为了实现良好的帧间压缩，比较了两种不同的压缩方式。
第一种方式是以象素为基础，首先将其与上一帧作差，得到一个稀疏矩阵。在作差的过程中，采用小范围匹配的方法去掉一部分噪声，然后采用优化的行程编码得到最后结果，并把当前帧保存在指定的内存区，作为下一帧作差的参考帧。
第二种方式是以宏块为基础的运动补偿方式，首先计算运动矢量，然后采用行程编码和哈夫曼编码。用运动补偿技术既可以达到较高的压缩比又有相当好的图像质量。
对于第一种以象素为基础的编码方式，在保证较高的帧频和压缩比的情况下，图像质量好。而对于第二种以宏块为基础的运动补偿编码方式，图像质量稍差，但压缩比较高，适用于数据传输率较低的情况。为吸收二者的长处，笔者在对H.263源程序分析的基础上进行了优化，采用混合压缩编码方案。此方案将上述两种方式结合起来，从而使系统有效地适用于互联网传输。因为远程站点之间通过互联网进行传输时，信道的数据传输率不是固定的。所以，系统中通过信道测试反馈信息改变量化时的步长，从而调节视频信息的数码率，以便更好地适应信道传输率的变化。
2.3 用UDP和 RTP实现图像传输并进行实时优化
视频图像的实时传输有如下特征：
・数据量大，尤其是高保真活动图像的数据量更大，从而带宽要求高；
・实时性要求高。
上述特点使视频图像传输对传输环境提出很高的要求。但另一方面，图像数据包在少量丢失情况下不影响还原质量。为此，采用建立在UDP基础上的实时传输协议RTP。用UDP协议进行数据传输的优点是不需要建立连接，传输速度快。缺点是容易丢失数据包，而且数据包的顺序容易混乱。
RTP是基于UDP的网络传输协议，编程时通过时间标签（Time-temping）机制、信息序列编号（Sequence Numbering）机制和有效数据类型标识（Payload Type Identifier）机制的联合使用，在允许的延迟范围中保证数据的实时传输质量，对于少量信息包的丢失，则采用补偿方法解决。时间标签用来标明实时数据块生成时间，接收方可据此正确排列数据接收顺序，并保证实时数据传输同步，一帧图像数据组成的RTP信息包有相同的时间标签。序列编号通过配合时间标签设置，同一帧图像的RTP信息包有相同的时间标签，但有不同的序列编号。有效数据类型标识用来定义各种数据压缩方法，并可通过手动或自动方式动态调整，在信息拥挤时可提高压缩比。
2.4 视频传输中的自适应技术
由于网络带宽有限且随机变化，因此视频传输的实时性会受到严重影响，甚至会使接收到的视频出现不连续或停顿现象。为此，在系统设计中，引入了视频传输的自适应机制。具体实现时，系统一边传输一边检测网络状态，并据此调整发送策略以适应网络变化。
2.5 发送和接收的同步技术
采集技术范文3
关键词： 数据采集 物联网技术 Zigbee技术
我国是一个农业大国，种植的农作物种类繁多，各种农作物的产量直接影响国家的经济命脉。在各种农作物生长过程中，影响产量最大的因素是生长环境，包括空气的温度、湿度、风速、光照时间、强度、二氧化碳浓度等，但是目前一些农作物生长环境的数据采集采用的技术（比如人工采集方式等）对生长环境的监测还不到位，不能及时地发现农作物生长过程中的异常情况，及时地进行调控，对产量的影响很大。基于物联网技术的监测系统是在无线传感器网络上构建的，它可以实时地对农作物生长环境及农作物生长状况进行无损数据采集。
1.物联网技术
物联网是物与物相连的网络，它可以通过一些采集信息的设备（如红外感应器、射频识别、激光扫描器、全球定位系统等）与系统进行数据的提取、测量、捕获、传递，并且这种数据的采集具有广泛性，只要是需要感知和能感知的物体，就可以采集到它的数据，并传送至服务器，以便监控。物联网还可以对采集到的数据利用信息处理技术、云计算、数据挖掘技术与分析工具等各种智能计算技术进行数据的智能分析、计算和汇总。物联网的主要技术包括传感器技术、Zigbee技术、智能技术、射频识别技术等，其中Zigbee技术是数据采集的关键技术之一。
所谓数据采集系统是利用各种传感器对监测的各种农作物生长环境的数据进行自动采集，然后将采集到的数据通过数据传输技术传输到服务器。在对农作物的生长环境进行数据采集时，要力求全面、准确，即数据采集系统要完成对多节点与多区域的数据采集，除了对数据的全面性与准确性要求外，数据采集系统还要对数据自动处理（如汇总、打包等），传送到服务器。
2. Zigbee技术
Zigbee一词来源于蜜蜂的舞蹈，当蜜蜂发现食物时，会通过跳舞将信息传递给同伴，如食物的位置、食物的数量、食物的方向、食物的距离等，蜜蜂的英文是Bee，蜜蜂跳舞时发出发出嗡嗡（Zig）的声音，而蜜蜂的这种信息传递距离近，低成本，速度不快，这和Zigbee的特点很相似。Zigbee名字由此得来。Zigbee技术是一种无线通信技术，普通的两节干电池可供Zigbee节点工作几个月的时间，因此功耗低;Zigbee工作的频段是免费的，不需要支付费用，用户只要花两美元买芯片即可进行开发，因此成本低;Zigbee的节点一般距离在10m～100m之间，因此距离近;Zigbee节点连接进入网络要30毫秒，因此延时短。在对农作物生长环境的实时监测时会发现，系统需要传输的数据数量比较少，对传输速率要求不高，终端设备大都采用电池供电，并且要避免有线连接。从以上农作物生长环境监测的特点看，Zigbee技术非常适用。Zigbee协议主要包括物理层、媒体存取控制层、网络层、应用层和安全层。
图1 使用Zigbee技术进行数据采集的框架
针对数据采集的要求，设计的使用Zigbee技术进行数据采集的框架如上图1所示。
由图1可知，农作物生长环境数据采集系统分为三个部分，基于星形拓扑结构的Zigbee无线传感器网络，物联网、internet的网络传输，基于WEB的信息管理系统。Zigbee技术的拓扑结构有树形（即形状像棵树）、网形（即形状像张网）、星形三种。其中，星形拓扑结构如图2所示：
图2 星形拓扑结构
由图2可知，中心位置为协调器，网络中的传输设备都与协调器有信息传输，因此如何组建协调器网络至关重要。星形拓扑结构呈现辐射状，数据要通过协调器来传送，因此比较简单，设备成本不高。由于农作物生长环境的数据采集范围广、采集点多，为了保证采集数据满足全面、准确的要求，最好采用星形拓扑结构。一个主节点可以与若干个从节点进行通信，最多254个从节点，一个从节点又可连接多个传感器。从节点上的传感器采集数据，将数据汇聚到主节点，主节点是网络的汇聚节点，发挥协调功能，主节点通过网络将收集到的数据传输到WEB信息管理系统。
在设计数据采集系统时遵循如下原则：（1）系统要可靠。在多数情况下，设备都没有人看守，这就要求设备的可靠性要高，能够连续工作，不易出错，能够安全可靠地采集、传输、处理数据。（2）系统要实用。此系统要简单，容易维护，易于操作，让大家容易学习、掌握，并熟练地使用它。（3）系统要有适用性。农作物生长环境比较复杂，而且范围大，因此要求此系统在任何环境下都能正常运行，有一定的适应性。
在对农作物生长环境进行数据采集时，采用基于物联网技术，尤其是Zigbee技术能够完成对生长环境各类数据的采集、提取、传输、监控等，并且对数据进行智能分析，判断异常情况。
参考文献：
[1]王黎丽.基于Zigbee技术的机场机房环境数据采集系统[D].杭州：浙江工业大学学位论文，2011：10-12.
[2]于暄.基于GPRS和Zigbee技术的智能家居解决方案的研究[D].贵州：贵州大学学位论文，2007：56-57.
采集技术范文4
关键词：下扬子 地震新区 表层地质模型
望江—潜山地区具有良好的区域构造背景，处于下扬子对冲复向斜带，构造相对稳定，现有的地质资料揭示，中古生界地层处于正常的沉积环境条件之下，沉积厚度可达4.6km左右，其上覆新生界地层厚度在2000m～5000m，对中古生界地层具有良好的盖层保护作用。
该区具有良好的生储盖组合根据沉积发展史，区内发育良好的两套生储盖组合，包括上组合：中三叠统（T2）-泥盆系（D）盖层以及下组合：志留系（S）一上震旦统（Z2）
下扬子地区取得了油气突破，黄桥、句容的油气突破展示下扬子良好的油气勘探前景。黄桥地区华泰3井获工业油流，最高产量3吨，稳定日产油1.1-1.2吨，；句容地区容2井获得稳定的低产工业油流（最高日产1.53t），；句平1井葛村组、青龙组见到较好的油气显示；句北1井在龙潭组见原油外溢。
在该地震新区施工，主要难点体现在四个方面，第一：地震勘探新区，无老资料可参考；第二：跨几个探矿权区块和地质单元，施工区域包括山地、水网、丘陵、火成岩出露区，表层条件复杂；第三：岩性横向变化大，主要有粘土、砂岩、灰岩、火成岩、河滩砾石。钻井、成井困难，如何准确选择激发层，防止影响深层信噪比是勘探的主要难点。
一、精细的近地表地质模型建立技术
精细的近地表地质模型建立有助于了解工区内低、降速带结构和分布特征，表层地震地质条件变化，为试验及激发因素的选择提供依据。
地震新区近地表地质模型的建立采用分步走的方法：第一步：生产前进行区域钻井试钻调查，施工前安排多种钻机针对不同地表、不同岩性地区进行试钻工作，掌握工区激发岩性展布情况，以此合理安排不同类型钻机进行钻井（在生产中被证明这一技术创新成果非常有效，大大提高了生产效率）。第二步：在大规模钻井施工前，为了保证生产进度，又要保证钻井深度是在高速层中激发，采用小折射为主的表层结构调查。第三步：利用表层结构资料，结合全区地质图，建立施工区表层结构地质模型。
二、引入调查试验点，确定最佳观测系统
地震勘探新区，无老资料可参考，而且地球物理特征不清、盆地内地质结构及构造特征不清。特别是该新区表层结构复杂，需防止因为试验点位置选择不佳而引起试验效果不好。
为了降低因试验点位置不佳而致资料均较差导致试验失效的可能，可采用在试验点之间布设一定的调查试验点（为降本增效，可采用相近试验点的排列进行接收）。望江—潜山二维项目即在选定的三个生产前试验点之间1个/2km的布设了调查试验点，在实际试验时证明了这一技术方法得到了非常好的效果（因所选择的三个试验点均效果不佳，但调查试验点得到了相当可靠的资料，为地震新区的二维部署增添了重要砝码）。
方案1叠加次数最高、面元小、排列长度大，在提高资料的信噪比、分辨率方面有明显优势，放1炮搬2道，便利于研究分析；试验线采集使用该方案；方案2叠加次数适中，CMP大小适中，最大偏移距大，符合区域地震勘探普查要求，放1炮搬2道，便利于丘陵炮点布设，本次生产线采集使用了该方案；方案3面元小，覆盖次数高，最大炮检距大，放1炮搬3道。
通过在望江—潜山项目试验点及试验线的实施，进一步验证了方案二是可行的，也验证了长排列有利于接收深层地震信息。
三、充分利用高清卫星图，合理设计炮检点
在地震新区采集中，尤其是在施工区域包括山地、水网、丘陵、火成岩出露区这样的复杂表层区，充分利用高清晰度卫星图片（特别是Google earth软件）辅助设计结合详细的现场踏勘，获得地表障碍的精确地理信息。
为了确保资料的完整性，对部署测线作适当的调整，来避开障碍物区，并通过采取适当进行加密观测的方法来提高叠加次数及通过炮检点合理设计使得这一区域叠加剖面的信噪比和分辨率有所提高。
充分利用Google earth、Mapinfo等软件进行室内设计，并结合野外踏勘，可提高施工的效率，合理的避让障碍物并取得较好的效果。
四、结论
地震采集新区施工，地表地质模型的建立尤为重要，特别是在望江—潜山地区施工区域包括山地、水网、丘陵、火成岩出露区的复杂地区，生产前组织钻机在不同类型的地表进行试钻岩性调查工作极其重要，可为后续工作带来很大便利。
利用多种软件及结合踏勘，对部署测线进行优化，合理布设炮点和检波点，这影响资料品质的好坏与施工效率。
采集技术范文5
【关键词】多层系；原油合采；配套工艺技术
由于油田的开采量日渐增多，因此，油田的原油产量和地层渗透率不断降低，使得开采的成本日渐加大，为了提高经济效益和单井产量，多层系合采逐渐被采纳。在进行多层系合采时，因为注水、集输系统非常容易结垢，水质配伍性存在很大的差异，产出液的组成比较复杂，因此很容易产生地面系统加热炉、泵、管线堵塞，生产系统承受高压力，集输系统运行受阻的问题。为了避免不相容地层水进行混合，必须对不同层位油品的配伍性进行确定，从而确定原油集输及配套工艺技术。以保障油田集输、污水处理、回注以及注水系统的运行能够安全平稳。
1.分析管线结垢的主要原因
通过在现场进行调查可发现，主要在总机关的混合油管线上以及接转站、增压点的加热炉管线出口的地方存在结垢，且可以占到总站点的百分之四十。将采集的垢样进行酸溶性测试，在盐酸中的溶蚀率3块垢样分别是0.4%、3.0%以及1.0%，由X射线进行衍射分析可得，硫酸钡是主要的垢样。然后分析输油方式和数据可推测出，集输系统中由于不同层位的地层水进行了混合，因此产生了结垢，同时，水质具有很高的矿化度，在输送原油时温度变化且发生多次压力，致使管线中结垢的产生。
为了使管线结垢的原因更清楚，将不同层位油品的配伍性确定，从而确定原油集输及配套工艺技术。将采集不同层位的八种油样进行配伍性试验。得到下表的水样离子分析。
通过上表的结果可以发现，油田采出的水中，长1和长2都不含碳酸根例子和硫酸根离子，配伍性较高。长1到长8含有较高的钙离子和钡离子，而一旦与延9层含有较高的碳酸根离子和硫酸根离子的采出水混合，就会产生大量的硫酸钡和碳酸钡垢；除了长1和长2层以外，其他层位都含有硫酸根离子和钡离子，两者相互混合硫酸钡垢就会产生。硫酸钡垢的特点是坚硬、致密，因此，处理和防治都比较困难。
所以，要叠合开发同一区域的不同层位原油时，为了使设备和集输系统管线不产生结垢，使生产能得到保障，应混合集输不含不相容离子采出水的油井，分开集输含不相容离子采出水的油井，只有这样才能避免统一混输所造成的结垢现象。
2.油气集输及配套工艺技术
因为层系原油配伍性不好的会发生混合，因此，集输系统要使用分层集输，同时进行双流程顺序输送的方式，做到从流程上防止混合。回注系统和污水处理要进行分层处理，将污水和清水分层、分段的进行智能注水。对于层系原油配伍性好的，集输系统采用的工艺流程是合层集输，这样可以除垢防堵，回注及处理系统以及公共设施要公用。
2.1 集输工艺技术
第一，分层集输和处理。要叠合开发同一区域的不同层位原油时，采用双流程建设增压点，对其进行分层输送。这样不同层位原油就可以在增压点里被分别输送。在接转站使用顺序输送的方法，不同层位原油在接转站进入管道是从各自的储罐中进去的，通过联合站对其进行单独的接受，从而使得它们不会相互掺混。在联合站中使用的处理方式是双流程分层，回注工艺也要分层。
第二，合层集输。合层集输所使用的是除垢过滤器，它可以将不同层系原油集输时造成的地面系统结垢很好的避免掉。除垢过滤器的工作原理是：当液体进入到除垢过滤器中，会流经除垢填料，除垢填料会吸附液体中存在的垢晶，使其被截留，如果填料上所吸附的垢太多，使流体通行通道被堵塞，就要将垢连同填料一同取出，然后换上新的填料。
2.2 污水处理技术
根据多层系水型有关的配伍性试验，同时与分层脱水工艺相结合，油田采出水所选择的是分层回注、分层处理、相对集中的工艺。也就是将配伍性比较好的采出水层系进行集中脱水的相关处理，容易结垢的采出水采用分层处理，并将水注入处理后的相应的层。
2.3 注水工艺技术
第一，污、清水分段、分层注水。改进单一介质的稳流配水阀组，将不同层位污水用污水阀组和清水阀组分注；于单层系所开发的井场而言，此工艺阀组将选择的是一条注水干线，使污、清水可以实现注水分段交替；于两种层系所开发的井场而言，此工艺阀组将选择两条注水干线，将一个层系的注水井中注清水，另一个层系的注水井中回注同层的污水。
第二，在污、清水分注工艺的基础之上，注水站的污水分注工艺将注水泵、喂水泵的单出口改装成双出口，同时在注水泵、喂水泵的出口和进口处各加一个放水口，这样可以在污水进行交替前全部放空前一种污水，从而避免由于两种污水结垢堵塞管路。
采集技术范文6
关键词：VFP；数据采集；高校数字资源建设
中图分类号：TP311.52
随着信息技术对高校教育发展的变革，数字化资源建设在高校学习资源建设，构建学习型组织中扮演着重要角色。数字资源建设是满足现代化教学所需的一项重要教学基础资源，是学校、教师和学生进行学习，交流，分享，创新的重要原动力。各高校都把数字化资源建设当作重点工作开展。然而不少高校面临着数字资源建设经费不足，除了购置外部资源外，同时也要内部开发一些数字资源。对于数字资源的建设，各高校的数字资源建设有共性需求，也有个性的需求，并非外部采购能够解决。在这样的前提下，笔者尝试运用Visual FoxPro（以下简称VFP）技术构建可采集网页数据的系统，用以采集无版权问题的在线学习资源，将不同来源的学习资源汇聚于同一数据库，来构建主题数字资源库。
1 高校数字化资源采集需要VFP技术
1.1 满足基础服务需求的角度选型
从提供基础服务角度看，选用何种技术进行开发首先是从需求出发，是否能满足实际工作需要，系统是否能运行稳定、高效。而不仅仅是追求先进性。并非最先进的就是最能满足需要的。笔者进行的数据采集只是数字资源建设前期的数据整理阶段的阶段性的工具，在时间节点范围能能够满足高校对数据的抓取工作。因此，在需求明确导向前提下，用最经济的手段来实现基础服务的稳定和高效运行是最合理的。VFP兼有开发工具和数据库两方面特征，能够做到与操作与数据的无缝衔接，在前期的数据采集与整理上完全能够满足用户需求。
1.2 存量用户与技术衍生性
VFP数据库在过去十年中在高校的普及应用率较高，不少教学服务部门的管理系统都是基于VFP开发的，如不少高校的教务系统，学工系统都是基于VFP开发等。因此，高校中的VFP存量用户较多，在新系统建设中，首先要考虑的系统对接的兼容性，后续增加的系统最好能和之前的系统能够无缝对接。而且，由于VFP的简单易学，在系统使用和维护中，不少老师也逐渐摸索、学习，逐渐掌握了VFP的基础开发技能。因此，VFP来开发数据采集系统是一个可以被应用环境接受和用户认可的工具。
1.3 VFP自身的技术优势
VFP是开发工具同时其本身也是数据库。VFP数据库发展到现在已经相当成熟，VFP系统小巧，相比Oracle等数据库，其不会占用太多的存储空间。相比其他数据库，VFP的应用程序开发的效率较高，相比一些开发语言，VFP本身强大的查询功能。所以VFP是集开发和数据库的综合体，简单易学，操作灵活。同时，VFP互操作性和对网络支持性较强。
2 网页数据采集系统设计
2.1 VFP技术介绍
VFP是Microsoft公司推出的数据库开发软件，提供多种可视化编程工具，最突出的是面向对象编程。支持结构化查询语言（SQL）命令和函数。由于其函数丰富、灵活方便、问世较早，在国内一段时期广为流行。目前最新的版本是9.0。时至今日，由于其稳定高效、易学易用，仍有大批高校将其作为小型数据库使用，不少网络教学管理系统前台软件也选用VFP开发。
2.2 系统设计目标
我们将VFP开发的网页数据采集系统应用于学校数字化资源建设子项目——开源版权的学习视频内容的采集，具体来说，是针对国外多所名校提供的开源版权视频源网址进行分析和数据爬取，最终将开源版权的文字和视频数据提取、索引并保存入学校的资源库。
2.3 系统功能结构
VFP开发的网页数据采集系统采用了模块化的设计，它由一些核部件和插件模块构成。核心部件可以配置，系统部件由管理控制台、抓取顺序控制器、中央控制器、流控制处理器、多线程控制组成。管理控制台允许操作者进行参数设置和任务管理。抓取顺序控制器控制爬取活动的排序和相关属性。抓取任务通过排序后将任务信息传递给中央控制器进行初始化。中央控制器吞吐队列的URL信息和完成的URL信息，并将任务指令传递给采集工作的核心工作区——流控制处理器。核流控制处理器的任务处理是呈流式运作的，包括预读、提取和写入三个部分。流控制处理器的工作是多线程了，保证了整个采集的高效率。
在采集的核心工作区——在流控制处理器中，工作的流程是这样的：首先在接到中心控制器传送来的队列URL后，开始预读，预读主要是做一些预处理工作，对处理进行延迟和重新处理。接着，进行提取工作，提取主要是获得http资源，进行ip转换，发出http头请求和接收响应，进而抽取目标HTML的标签。最后进行写入，写入的工作是存储爬取日志，返回爬取到的内容和抽取特性，过滤并作写存储的动作。这一流程完成后，流控制处理器会提交完成的URL给中央控制器，做最后的维护。（见图1）
图1 系统功能图
3 系统实现
3.1 程序运行的硬件环境
操作系统为Microsoft Windows XP或更高，内存为1G或更高，硬盘占用约230MB，数据爬取采用4MB ADSL宽带。
3.2 核心程序节录
3.3 实验结论
我们将VFP开发的网页数据采集系统应用于学校数字化资源建设子项目——开源版权的学习视频内容的采集，针对国外多所名校提供的开源版权视频源网址进行分析和数据爬取，并测试VFP开发的网页数据采集系统的性能，为后续的改进提供测试。我们确立四个指标，从数据采集的正确率、召回率、覆盖率和程序效率四个方面进行测试。正确率是指VFP开发的网页数据采集系统能否正确的提取URL，正确率越高，爬取的效果越好；召回率是指程序爬虫探测到的数据与能够爬取回来的数据的比值，召回率越高，爬虫的效果越好。覆盖率是指对指定网站采集的覆盖率，覆盖率要全；程序的效率是说VFP开发的网页数据采集系统采集的速度和稳定性。经过全天24小时无故障，不间断的运行，累计采集网页数据300多万页。数据采集的正确率、召回率、覆盖率和程序效率均得到理想的效果。
4 结束语
本文阐述了一个基于VFP技术的网页数据采集爬虫的一种工作流程和爬行算法，从链接和网页内容的分析和提取进行爬行控制，给出了具体实施的核心程序，测试结果比较满意。基于VFP技术的网页数据采集系统本身虽然属于轻量级，但针对高校数字化资源建设的需求现状，本文提出解决方案经过证明，能够高效的完成网页数据采集，是一种经济、实用、稳定和高效的网页数据采集方案。其对高校的数字化资源建设起重要作用。但是本系统的性能仍需提高，尤其在URL的优先权选择上需要进一步改进。
参考文献：
[1]张敏，孙敏.基于Heritrix限定爬虫的设计与实现[J].计算机应用与软件，2013，30（4）：33-35.
[2]王永国，张士江，谢倩.基于Visual FoxPro环境ACCESS数据库操作的实现[J].计算机技术与发展，2011，21（1）：95-99.
[3]孙庚，冯艳红，于红，史鹏辉.一种基于Heritrix的网络定题爬虫算法——以渔业信息网络为例[J].软件导刊，2010，9（5）：47-49.
[4]王映，于满泉，李盛韬，王斌，余智华.JavaScript引擎在动态网页采集技术中的应用[J].计算机应用，2004，24（2）：33-36.
[5]马爱芳，仲少云.基于VFP的资料室图书管理系统的设计[J].现代情报，2004，（3）：104-108.
