网络舆情突发事件预警系统
解决方案书
目录
一、概述............................................................................................. -3-
二、系统特点介绍............................................................................. -4-
2.1实时监测网络舆情信息........................................................ -4-
2.2网络舆情的个性化追踪和专题报道.................................... -4-
2.3舆情报告及管理.................................................................... -4-
2.4自动预警网络舆情................................................................ -4-
2.5可视化,直观的舆情统计分析............................................ -5-
2.6精准的舆情全文检索............................................................ -5-
三、技术方案..................................................................................... -6-
3.1总体规划................................................................................ -6-
3.2设计思想................................................................................ -6-
3.3构成要素................................................................................ -7-
3.4采用技术................................................................................ -8-
3.4.1基于J2EE 的系统构架............................................... -8-
3.5系统设计的特点.................................................................. -11-
3.5.1先进的系统构架........................................................ -11-
3.5.2遵循各种标准规范.................................................... -12-
3.6高可靠性安全设计原则...................................................... -12-
3.7数据接口标准...................................................................... -13-
3.8统一的信息保存格式.......................................................... -15-
3.9统一的信息传递方式.......................................................... -15-
四、系统功能................................................................................... -16-
4.1互联网舆情采集.................................................................. -16-
4.2舆情追踪和专题报道.......................................................... -16-
4.3舆情分析.............................................................................. -16-
4.4舆情预警.............................................................................. -17-
4.5舆情报告及管理.................................................................. -18-
4.6舆情全文检索...................................................................... -18-
一、概述
网络舆情是由于各种事件的刺激而产生的通过互联网传播的人们对于该事件的所有认知、态度、情感和行为倾向的集合。互联网是一个虚拟社会,如果其信息的正确性及传播范围难以得到有效控制,容易影响社会安定或引起一系列政治问题。尤其是中国目前正处于社会转型期,社会矛盾较多,更需注重对网络舆情的预警工作,防患于未然。
网络舆情突发事件预警是网络舆情危机管理的重要组成部分和第一道防线,是防范网络不良舆情快速扩散的基础;同时,由于网络舆情是现实问题在网络空间的集中反映,因而网络舆情突发事件预警也是社会稳定的“晴雨表”,是对网络舆情实现有效管控的组织和技术体系。因而,构建网络舆情突发事件预警系统,可及时对网络舆情的现状和变化作出判断并对可能的发展做出评价,对维护社会稳定、构建和谐社会具有重大意义。
二、系统特点介绍
2.1实时监测网络舆情信息
系统可以根据用户的要求对互联网的新闻、论坛、博客、图片等进行采集,同时自动提取新闻的作者、时间、标题、正文等数据。集成了网页搜索、内容智能提取与过滤、自动分类、自动去重等技术,实现了对互联网信息采集、过滤、提取与批量上载的自动化与一体化。
2.2网络舆情的个性化追踪和专题报道
系统具有个性化追踪和专题报道功能,用户可以根据自己个性化需要,对某一事件进行详细的了解,以方便关注事态的后续发展情况,及时了解热点信息的最新动态。
2.3舆情报告及管理
系统具备实用的报告生成及报告管理功能,能够按照用户要求的报告方式生成报告。用户选择报告信息后自动加入报告,通过浏览器可直接对报告进行在线编辑,在线保存。同时还可支持领导在线手写批注,电子签章等功能。
2.4自动预警网络舆情
系统可以灵活定制预警规则和关注信息分类,并且默认按照地区或行业将信息标识为相关或不相关。帮助用户在第一时间定位到与自己相关的敏感信息。例如:重点敏感信息包括,政府形象、反华报道、犯罪执法、公共安全事件、群体性事件。
每个关注信息分类对应的新闻列表,包括总条数、分页数、每条新闻标题、摘要、来源、原文链接等相关信息。同时可以对敏感信息进行针对性的重点关注或加入个人收藏。
2.5可视化,直观的舆情统计分析
系统可提供直观的统计分析图表。例如,对某条或某类信息的数量随时间的统计。同时可按用户需求定制其他相关数据的统计功能。
2.6精准的舆情全文检索
通过高效的全文检索引擎实现对海量数据搜索。
三、技术方案
3.1总体规划
网络舆情突发事件预警系统采用采用B/S多层体系结构构建,服务器端采用J2EE 中间件服务器,客户端采用IE 浏览器。系统规划图如下:
舆情分析舆情预警
舆情数据采集舆情分析
管
理
服
务
体系应用基础件平台技术基础件统一数据库访问、统一日志访问、登录认证、功能函数组、…平台产品数据图表产品、数据集成产品、…业务基础件统一消息平台、时间服务、组织结构、统一文档管理安全认证体系
内网数据服务舆情数据交换服务
网络舆情突发事件预警系统平台网络舆情突发事件预警系统规划图
3.2设计思想
1. 标准的信息交换接口
2. 标准的信息保存格式
3. 统一的系统业务流程定制和管理
4. 统一的用户和组织结构管理
5. 统一的系统管理平台
6. 严密的安全方案
3.3构成要素
网络舆情突发事件预警系统框架包括6个主要的组成部分:
1. 网络和系统平台
该平台提供了网络舆情突发事件预警系统运行的基础环境。包括网络系统、服务器系统、存储备份系统以及相关的系统软件,如操作系统、数据库、系统管理软件等。
2. 信息资源数据库、数据仓库等数据管理平台
对系统中的信息和数据资源进行统一的建模、存储和管理。
3. 应用服务器,中间件平台
中间件平台位于应用和系统软件之间,为多层构架的网络舆情突发事件预警系统中的各类应用系统提供支持。中间件平台包括:
1) J2EE (Java 2Enterprise Edition )应用服务器:提供J2EE 应用的运行平台;
2) 消息中间件:提供不同职能部门之间的可靠信息传递;
3) 数据中间件:提供数据接口、数据建模的功能支持。
4. 短信网关
短信网关软件是基于中国移动、中国电信公司的一套基于短信的互联网解决方案。它是架构于SP (服务提供商,即买方)与移动运营商之间的短信网关,在网络舆情突发事件预警系统可用突发事件的预警提醒及日常交流沟通
5. 安全认证体系
安全性是系统建设的一个重要原则。网络舆情突发事件预警系统的安全隐患可能存在于构成系统的各个要素上,包括:网络、服务器、存储、操作系统、数据库、中间件、应用系统、人员等。因此,系统需要一个全面的安全解决方案。
6.管理和服务体系
系统提供统一管理服务平台,包括从应用软件到中间件软件和系统软件的管理,均通过统一的入口进行分类、分项的管理。
3.4采用技术
基于J2EE 的系统构架,具备以下特征:
支持多层构架,表示层、业务层、数据库访问层分开; 支持B/S应用程序;
独立于特定的硬件平台和操作系统;
支持各种类型的数据库系统;
良好的系统安全性和可扩展性;
分布式事务功能;
支持消息服务;
支持组件化开发;
支持集群和失效转移,提供良好的可扩展性和容错性; 支持XML 技术;
支持Web Service 和EAI;
J2EE 技术介绍
J2EE 是Java 2Enterprise Edition 的简称。它是与实现企业级应用有关的各种技术规范的集合。下图是J2EE Specification 中描述的J2EE
应用的结构以及相应的规范:
具体来讲,J2EE中所涉及的各种技术规范简单解释如下:
EJB:企业级Java 组件,能够封装复杂的业务逻辑,并在整个系统范围内重用,支持远程调用和集群;
RMI-IIOP:远程方法调用协议,支持Java 程序象调用本地对象一样调用远程对象,该协议既支持Java 本身的RMI 调用,也支持CORBA 的IIOP 协议,因而能够与CORBA 服务进行互访问;
JDBC:提供Java 程序访问数据库的标准接口;
Servlet:支持动态地生成html 页面,用于基于浏览器的应用开发;
JSP:能够通过混合编写java 和html 脚本,动态地生成html 页面,比编写Servlet 的开发效率更高;
JTA:Java事务接口,提供对事务的支持,包括分布式事务; JMS:Java消息服务,支持可靠的点对点、发布/订阅方式的消息传输;
JNDI:Java命名和目录服务,支持按照名称来查找资源; JavaMail:提供在Java 里面发送和接收电子邮件的支持; JAXP:Java处理XML 文件的标准接口,支持SAX 和DOM API; JCA:允许遗留的信息系统提供出适配器接口,与J2EE 应用程序进行整合;
JAAS:支持基于用户的认证和授权模型;
J2EE 技术的优点:
支持所有的硬件和操作系统平台,使用户在操作系统和硬件的选择上具有更大的自由度;
技术规范更全面,对企业级应用的支持更强大;
具有“编写一次,到处运行”的优点;
系统的可扩展性更强,后期维护费用较低;
适合大型的系统和关键的业务;
现有标准,后有实现,标准的设计很完善;
只需要用Java 一种语言,开发效率高。
本系统核心业务逻辑采用EJB 技术实现。
3.5系统设计的特点
3.5.1先进的系统构架
系统建设需要很强的技术保证。我们设计的方案中包括一套比较完整和开放的基础组件支撑平台,该平台是我公司在多年的信息化实践和大量研发工作的基础上研发成功的,为系统的建设提供了一个良好的基础。
系统采用了统一的平台和进行一体化的设计。统一平台的含义是系统的各种平台(特别是系统软件平台和基础组件平台)从系统层次结构、集成方式、安全策略等方面进行了统一规划,从而提高系统的一致性,降低研发、集成和维护的成本。
系统采用了统一的J2EE 技术框架。J2EE技术由于其跨平台、安全性高、可扩展性强的特点,能够保证整个系统长期的技术先进性,保证其发展潜力。
由于采用了统一的基础组件平台,通过组件化的思想,使每个应用系统的共同的、基础的功能在底层平台得到了实现,提高了系统的质量,保证了系统的可扩展性。
3.5.2遵循各种标准规范
软件工程国家标准:GB/T8566-1995
GB8567-88
GB/T11457-1995
GB/T12504-90
GB/T14394-93信息技术软件生存期过程计算机软件产品开发文件编制指南软件工程术语计算机软件质量保证计划规范计算机软件可靠性和可维护性管理
3.6高可靠性安全设计原则
系统整体安全方案遵从以下原则:
●安全目标和安全行为必须根据业务目标和业务需要,并受业务管理的指导,这就是总体安全方案服务于系统业务需求的原则。
●安全系统必须稳定、可靠、可用,不影响应用系统原有的功能与效率,这就是可靠性原则。
●安全系统必须能够真正保护网络系统,实现网络系统稳定可靠的运行,保证网络资源授控合法的使用,这就是安全性原
则。
●安全系统必须允许增加新的安全组件与安全功能,保证系统安全性不断增长的需要,同时也便于安全工程分步实施,这就是可扩展性原则。
●安全系统必须经济实用,性能价格比最优,这就是经济性原则。
●安全系统必须好用、可用与易用,复杂的配置,只有专家能够使用与维护的安全,对本系统来说是不实际的,这就是易用性原则。
●安全系统必须可管理,必须是分布式安全布控,集中式安全管理,这就是安全的可管理性原则。
●安全系统必须是多层次的、立体的、全方位的、覆盖事前事中事后的解决方案,最大限度的保证网络系统的安全,这就是安全的过程性原则。
3.7数据接口标准
系统采用B/S/D的三层架构,三个层次之间可以采用分布式的部署方式,同时,各个层次采用的技术标准是统一的。
前端用户界面使用IE 浏览器进行操作,用户终端与应用服务器相连,进行集中式的信息交换和数据处理。应用服务器与数据库相连,对各个应用系统提出的访问请求进行反应,包括数据库的读写和变更操作,然后将操作结果返回给各个应用系统。各个应用系统通过统一
的信息交换平台进行信息和数据的交换,避免了数据格式的不统一和数据操作的混乱。整个系统按照技术架构可以大略的划分为3个部分,每个部分之间有标准的接口:
1、后台数据库与应用服务器
后台数据库与应用服务器之间通过标准的JDBC 连接方式作为数据传递的接口,目前各类大型数据库均对JDBC 接口有很好的支持。应用服务器通过一个标准的数据库存取访问组件实现与数据库之间的交互。所有对数据库的直接访问均通过这个通用类库中提供的函数、方法和属性完成。
2、应用服务器与基础应用组件平台
通过各类标准的组件实现与应用层的交互。所有的组件均进行了通用化、配件化的封装,将通用的功能与个性化的逻辑业务分开处理。
在技术方面,所有的组件编程均封装在EJB (Enerprise JavaBean )下,遵循EJB 2.0开发标准,以通用类库的具体形式部署在EJB container 里。可以方便的在应用系统二次开发时进行调用,同时,代码的移植将变得异常的简单轻松,只需将通用类库(实际是一类文件)拷贝到要安装的应用服务器上即可,不受后台数据库和应用服务器产品选型的限制。
3、应用系统的开发
通过用户和组织结构管理、舆情搜集、舆情整理、数据库访问、认证和授权等一系列功能,完成网络舆情的分析和预警。各个应用系统在开发时使用统一的标准类库,例如,在进行数据库的访问操作方
面的开发时,程序员使用统一的DB 类中的函数、方法和属性,保证了各个应用系统数据接口的统一。
3.8统一的信息保存格式
通过XML 技术确保系统各个功能模块的信息以统一的标准存储,Java 处理XML 文件的标准接口,支持SAX (分段落解析XML 文件的方法)和DOM(整篇解析XML 文件的方法)API 两种方式。
3.9统一的信息传递方式
系统提供统一的信息交换平台,通过JMS(Java消息服务),支持可靠的点对点、发布/订阅方式的消息传输。各个系统功能模块在传递信息的时候,通过JMS 提供的统一的队列处理方式进行信息点对点的传递。
四、系统功能
4.1互联网舆情采集
●支持各种标准格式信息资源的采集,如HTML 页面、文本信息、表格、图片、声音、视频等。
●实现对网页与内联图片的统一采集。
●支持繁体页面(BIG5码)的采集,并自动转换为标准的简体码(GB码),支持Unicode 码集。
●支持由程序自动生成的页面内容的采集,如由JavaScript 生成的页面。
●能方便将抓取网站上后台数据库的内容(JSP,ASP,CGI),和抓取需要通过用户身份校验的网站内容。
●支持单篇网页及网站历史数据的批量下载。
4.2舆情追踪和专题报道
具有个性化追踪和专题报道功能,用户可以根据自己个性化需要,对某一事件进行详细的了解,以方便关注事态的后续发展情况,及时了解热点信息的最新动态。
4.3舆情分析
根据中华人民共和国《互联网新闻信息服务管理规定》的互联网新闻信息管理要求,系统支持按照以下分类原则,配置管理敏感信息
分类规则。
(一)违反宪法确定的基本原则的;
(二)危害国家安全,泄露国家秘密,颠覆国家政权,破坏国家统一的;
(三)损害国家荣誉和利益的;
(四)煽动民族仇恨、民族歧视,破坏民族团结的;
(五)破坏国家宗教政策,宣扬邪教和封建迷信的;
(六)散布谣言,扰乱社会秩序,破坏社会稳定的;
(七)散布淫秽、色情、赌博、暴力、恐怖或者教唆犯罪的;
(八)侮辱或者诽谤他人,侵害他人合法权益的;
(九)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序的;
(十)以非法民间组织名义活动的;
(十一)含有法律、行政法规禁止的其他内容的。
针对上诉情况,系统可提供直观的统计分析图表。例如,对某条或某类信息的数量随时间的统计。同时可按用户需求定制其他相关数据的统计功能。
4.4舆情预警
系统可以灵活定制预警规则和关注信息分类,并且默认按照地区或行业将信息标识为相关或不相关。帮助用户在第一时间定位到与自己相关的敏感信息。例如:重点敏感信息包括,政府形象、反华报道、
犯罪执法、公共安全事件、群体性事件。
每个关注信息分类对应的新闻列表,包括总条数、分页数、每条新闻标题、摘要、来源、原文链接等相关信息。同时可以对敏感信息进行针对性的重点关注或加入个人收藏。
4.5舆情报告及管理
系统具备实用的报告生成及报告管理功能,能够按照用户要求的报告方式生成报告。用户选择报告信息后自动加入报告,通过浏览器可直接对报告进行在线编辑,在线保存。同时还可支持领导在线手写批注,电子签章等功能。
●支持多种结构化数据类型的管理:日期型、数值型、字符型、汉字型。
●支持包括TEXT、HTML、RTF、MSOFFICE、PDF、S2/PS2/PS等多种格式文件的存储、索引和检索。
●支持图像、文字、音频、视频等多媒体数据的关联管理与统一检索。
●支持外部纸介质扫描识别形成的数字纸张、网页及网页自动提取内容的管理和检索。
●采用领先于自动切分词技术的字元索引策略,支持按词索引、按字索引、字词混合索引。
4.6舆情全文检索
舆情全文检索是对纯文本、超大文本、电子文档、网页、语音、
图像、活动影像等非结构化数据进行综合管理的重要功能,核心功能是实行非结构化信息的统一存储管理与全文检索,同时提供对包含元数据信息的半结构化数据及关系型数据库的良好支持。系统主要由全文数据库服务器、系统管理员客户端、检索客户端、WEB全文检索系统、二次开发接口等组成。
网络舆情突发事件预警系统
解决方案书
目录
一、概述............................................................................................. -3-
二、系统特点介绍............................................................................. -4-
2.1实时监测网络舆情信息........................................................ -4-
2.2网络舆情的个性化追踪和专题报道.................................... -4-
2.3舆情报告及管理.................................................................... -4-
2.4自动预警网络舆情................................................................ -4-
2.5可视化,直观的舆情统计分析............................................ -5-
2.6精准的舆情全文检索............................................................ -5-
三、技术方案..................................................................................... -6-
3.1总体规划................................................................................ -6-
3.2设计思想................................................................................ -6-
3.3构成要素................................................................................ -7-
3.4采用技术................................................................................ -8-
3.4.1基于J2EE 的系统构架............................................... -8-
3.5系统设计的特点.................................................................. -11-
3.5.1先进的系统构架........................................................ -11-
3.5.2遵循各种标准规范.................................................... -12-
3.6高可靠性安全设计原则...................................................... -12-
3.7数据接口标准...................................................................... -13-
3.8统一的信息保存格式.......................................................... -15-
3.9统一的信息传递方式.......................................................... -15-
四、系统功能................................................................................... -16-
4.1互联网舆情采集.................................................................. -16-
4.2舆情追踪和专题报道.......................................................... -16-
4.3舆情分析.............................................................................. -16-
4.4舆情预警.............................................................................. -17-
4.5舆情报告及管理.................................................................. -18-
4.6舆情全文检索...................................................................... -18-
一、概述
网络舆情是由于各种事件的刺激而产生的通过互联网传播的人们对于该事件的所有认知、态度、情感和行为倾向的集合。互联网是一个虚拟社会,如果其信息的正确性及传播范围难以得到有效控制,容易影响社会安定或引起一系列政治问题。尤其是中国目前正处于社会转型期,社会矛盾较多,更需注重对网络舆情的预警工作,防患于未然。
网络舆情突发事件预警是网络舆情危机管理的重要组成部分和第一道防线,是防范网络不良舆情快速扩散的基础;同时,由于网络舆情是现实问题在网络空间的集中反映,因而网络舆情突发事件预警也是社会稳定的“晴雨表”,是对网络舆情实现有效管控的组织和技术体系。因而,构建网络舆情突发事件预警系统,可及时对网络舆情的现状和变化作出判断并对可能的发展做出评价,对维护社会稳定、构建和谐社会具有重大意义。
二、系统特点介绍
2.1实时监测网络舆情信息
系统可以根据用户的要求对互联网的新闻、论坛、博客、图片等进行采集,同时自动提取新闻的作者、时间、标题、正文等数据。集成了网页搜索、内容智能提取与过滤、自动分类、自动去重等技术,实现了对互联网信息采集、过滤、提取与批量上载的自动化与一体化。
2.2网络舆情的个性化追踪和专题报道
系统具有个性化追踪和专题报道功能,用户可以根据自己个性化需要,对某一事件进行详细的了解,以方便关注事态的后续发展情况,及时了解热点信息的最新动态。
2.3舆情报告及管理
系统具备实用的报告生成及报告管理功能,能够按照用户要求的报告方式生成报告。用户选择报告信息后自动加入报告,通过浏览器可直接对报告进行在线编辑,在线保存。同时还可支持领导在线手写批注,电子签章等功能。
2.4自动预警网络舆情
系统可以灵活定制预警规则和关注信息分类,并且默认按照地区或行业将信息标识为相关或不相关。帮助用户在第一时间定位到与自己相关的敏感信息。例如:重点敏感信息包括,政府形象、反华报道、犯罪执法、公共安全事件、群体性事件。
每个关注信息分类对应的新闻列表,包括总条数、分页数、每条新闻标题、摘要、来源、原文链接等相关信息。同时可以对敏感信息进行针对性的重点关注或加入个人收藏。
2.5可视化,直观的舆情统计分析
系统可提供直观的统计分析图表。例如,对某条或某类信息的数量随时间的统计。同时可按用户需求定制其他相关数据的统计功能。
2.6精准的舆情全文检索
通过高效的全文检索引擎实现对海量数据搜索。
三、技术方案
3.1总体规划
网络舆情突发事件预警系统采用采用B/S多层体系结构构建,服务器端采用J2EE 中间件服务器,客户端采用IE 浏览器。系统规划图如下:
舆情分析舆情预警
舆情数据采集舆情分析
管
理
服
务
体系应用基础件平台技术基础件统一数据库访问、统一日志访问、登录认证、功能函数组、…平台产品数据图表产品、数据集成产品、…业务基础件统一消息平台、时间服务、组织结构、统一文档管理安全认证体系
内网数据服务舆情数据交换服务
网络舆情突发事件预警系统平台网络舆情突发事件预警系统规划图
3.2设计思想
1. 标准的信息交换接口
2. 标准的信息保存格式
3. 统一的系统业务流程定制和管理
4. 统一的用户和组织结构管理
5. 统一的系统管理平台
6. 严密的安全方案
3.3构成要素
网络舆情突发事件预警系统框架包括6个主要的组成部分:
1. 网络和系统平台
该平台提供了网络舆情突发事件预警系统运行的基础环境。包括网络系统、服务器系统、存储备份系统以及相关的系统软件,如操作系统、数据库、系统管理软件等。
2. 信息资源数据库、数据仓库等数据管理平台
对系统中的信息和数据资源进行统一的建模、存储和管理。
3. 应用服务器,中间件平台
中间件平台位于应用和系统软件之间,为多层构架的网络舆情突发事件预警系统中的各类应用系统提供支持。中间件平台包括:
1) J2EE (Java 2Enterprise Edition )应用服务器:提供J2EE 应用的运行平台;
2) 消息中间件:提供不同职能部门之间的可靠信息传递;
3) 数据中间件:提供数据接口、数据建模的功能支持。
4. 短信网关
短信网关软件是基于中国移动、中国电信公司的一套基于短信的互联网解决方案。它是架构于SP (服务提供商,即买方)与移动运营商之间的短信网关,在网络舆情突发事件预警系统可用突发事件的预警提醒及日常交流沟通
5. 安全认证体系
安全性是系统建设的一个重要原则。网络舆情突发事件预警系统的安全隐患可能存在于构成系统的各个要素上,包括:网络、服务器、存储、操作系统、数据库、中间件、应用系统、人员等。因此,系统需要一个全面的安全解决方案。
6.管理和服务体系
系统提供统一管理服务平台,包括从应用软件到中间件软件和系统软件的管理,均通过统一的入口进行分类、分项的管理。
3.4采用技术
基于J2EE 的系统构架,具备以下特征:
支持多层构架,表示层、业务层、数据库访问层分开; 支持B/S应用程序;
独立于特定的硬件平台和操作系统;
支持各种类型的数据库系统;
良好的系统安全性和可扩展性;
分布式事务功能;
支持消息服务;
支持组件化开发;
支持集群和失效转移,提供良好的可扩展性和容错性; 支持XML 技术;
支持Web Service 和EAI;
J2EE 技术介绍
J2EE 是Java 2Enterprise Edition 的简称。它是与实现企业级应用有关的各种技术规范的集合。下图是J2EE Specification 中描述的J2EE
应用的结构以及相应的规范:
具体来讲,J2EE中所涉及的各种技术规范简单解释如下:
EJB:企业级Java 组件,能够封装复杂的业务逻辑,并在整个系统范围内重用,支持远程调用和集群;
RMI-IIOP:远程方法调用协议,支持Java 程序象调用本地对象一样调用远程对象,该协议既支持Java 本身的RMI 调用,也支持CORBA 的IIOP 协议,因而能够与CORBA 服务进行互访问;
JDBC:提供Java 程序访问数据库的标准接口;
Servlet:支持动态地生成html 页面,用于基于浏览器的应用开发;
JSP:能够通过混合编写java 和html 脚本,动态地生成html 页面,比编写Servlet 的开发效率更高;
JTA:Java事务接口,提供对事务的支持,包括分布式事务; JMS:Java消息服务,支持可靠的点对点、发布/订阅方式的消息传输;
JNDI:Java命名和目录服务,支持按照名称来查找资源; JavaMail:提供在Java 里面发送和接收电子邮件的支持; JAXP:Java处理XML 文件的标准接口,支持SAX 和DOM API; JCA:允许遗留的信息系统提供出适配器接口,与J2EE 应用程序进行整合;
JAAS:支持基于用户的认证和授权模型;
J2EE 技术的优点:
支持所有的硬件和操作系统平台,使用户在操作系统和硬件的选择上具有更大的自由度;
技术规范更全面,对企业级应用的支持更强大;
具有“编写一次,到处运行”的优点;
系统的可扩展性更强,后期维护费用较低;
适合大型的系统和关键的业务;
现有标准,后有实现,标准的设计很完善;
只需要用Java 一种语言,开发效率高。
本系统核心业务逻辑采用EJB 技术实现。
3.5系统设计的特点
3.5.1先进的系统构架
系统建设需要很强的技术保证。我们设计的方案中包括一套比较完整和开放的基础组件支撑平台,该平台是我公司在多年的信息化实践和大量研发工作的基础上研发成功的,为系统的建设提供了一个良好的基础。
系统采用了统一的平台和进行一体化的设计。统一平台的含义是系统的各种平台(特别是系统软件平台和基础组件平台)从系统层次结构、集成方式、安全策略等方面进行了统一规划,从而提高系统的一致性,降低研发、集成和维护的成本。
系统采用了统一的J2EE 技术框架。J2EE技术由于其跨平台、安全性高、可扩展性强的特点,能够保证整个系统长期的技术先进性,保证其发展潜力。
由于采用了统一的基础组件平台,通过组件化的思想,使每个应用系统的共同的、基础的功能在底层平台得到了实现,提高了系统的质量,保证了系统的可扩展性。
3.5.2遵循各种标准规范
软件工程国家标准:GB/T8566-1995
GB8567-88
GB/T11457-1995
GB/T12504-90
GB/T14394-93信息技术软件生存期过程计算机软件产品开发文件编制指南软件工程术语计算机软件质量保证计划规范计算机软件可靠性和可维护性管理
3.6高可靠性安全设计原则
系统整体安全方案遵从以下原则:
●安全目标和安全行为必须根据业务目标和业务需要,并受业务管理的指导,这就是总体安全方案服务于系统业务需求的原则。
●安全系统必须稳定、可靠、可用,不影响应用系统原有的功能与效率,这就是可靠性原则。
●安全系统必须能够真正保护网络系统,实现网络系统稳定可靠的运行,保证网络资源授控合法的使用,这就是安全性原
则。
●安全系统必须允许增加新的安全组件与安全功能,保证系统安全性不断增长的需要,同时也便于安全工程分步实施,这就是可扩展性原则。
●安全系统必须经济实用,性能价格比最优,这就是经济性原则。
●安全系统必须好用、可用与易用,复杂的配置,只有专家能够使用与维护的安全,对本系统来说是不实际的,这就是易用性原则。
●安全系统必须可管理,必须是分布式安全布控,集中式安全管理,这就是安全的可管理性原则。
●安全系统必须是多层次的、立体的、全方位的、覆盖事前事中事后的解决方案,最大限度的保证网络系统的安全,这就是安全的过程性原则。
3.7数据接口标准
系统采用B/S/D的三层架构,三个层次之间可以采用分布式的部署方式,同时,各个层次采用的技术标准是统一的。
前端用户界面使用IE 浏览器进行操作,用户终端与应用服务器相连,进行集中式的信息交换和数据处理。应用服务器与数据库相连,对各个应用系统提出的访问请求进行反应,包括数据库的读写和变更操作,然后将操作结果返回给各个应用系统。各个应用系统通过统一
的信息交换平台进行信息和数据的交换,避免了数据格式的不统一和数据操作的混乱。整个系统按照技术架构可以大略的划分为3个部分,每个部分之间有标准的接口:
1、后台数据库与应用服务器
后台数据库与应用服务器之间通过标准的JDBC 连接方式作为数据传递的接口,目前各类大型数据库均对JDBC 接口有很好的支持。应用服务器通过一个标准的数据库存取访问组件实现与数据库之间的交互。所有对数据库的直接访问均通过这个通用类库中提供的函数、方法和属性完成。
2、应用服务器与基础应用组件平台
通过各类标准的组件实现与应用层的交互。所有的组件均进行了通用化、配件化的封装,将通用的功能与个性化的逻辑业务分开处理。
在技术方面,所有的组件编程均封装在EJB (Enerprise JavaBean )下,遵循EJB 2.0开发标准,以通用类库的具体形式部署在EJB container 里。可以方便的在应用系统二次开发时进行调用,同时,代码的移植将变得异常的简单轻松,只需将通用类库(实际是一类文件)拷贝到要安装的应用服务器上即可,不受后台数据库和应用服务器产品选型的限制。
3、应用系统的开发
通过用户和组织结构管理、舆情搜集、舆情整理、数据库访问、认证和授权等一系列功能,完成网络舆情的分析和预警。各个应用系统在开发时使用统一的标准类库,例如,在进行数据库的访问操作方
面的开发时,程序员使用统一的DB 类中的函数、方法和属性,保证了各个应用系统数据接口的统一。
3.8统一的信息保存格式
通过XML 技术确保系统各个功能模块的信息以统一的标准存储,Java 处理XML 文件的标准接口,支持SAX (分段落解析XML 文件的方法)和DOM(整篇解析XML 文件的方法)API 两种方式。
3.9统一的信息传递方式
系统提供统一的信息交换平台,通过JMS(Java消息服务),支持可靠的点对点、发布/订阅方式的消息传输。各个系统功能模块在传递信息的时候,通过JMS 提供的统一的队列处理方式进行信息点对点的传递。
四、系统功能
4.1互联网舆情采集
●支持各种标准格式信息资源的采集,如HTML 页面、文本信息、表格、图片、声音、视频等。
●实现对网页与内联图片的统一采集。
●支持繁体页面(BIG5码)的采集,并自动转换为标准的简体码(GB码),支持Unicode 码集。
●支持由程序自动生成的页面内容的采集,如由JavaScript 生成的页面。
●能方便将抓取网站上后台数据库的内容(JSP,ASP,CGI),和抓取需要通过用户身份校验的网站内容。
●支持单篇网页及网站历史数据的批量下载。
4.2舆情追踪和专题报道
具有个性化追踪和专题报道功能,用户可以根据自己个性化需要,对某一事件进行详细的了解,以方便关注事态的后续发展情况,及时了解热点信息的最新动态。
4.3舆情分析
根据中华人民共和国《互联网新闻信息服务管理规定》的互联网新闻信息管理要求,系统支持按照以下分类原则,配置管理敏感信息
分类规则。
(一)违反宪法确定的基本原则的;
(二)危害国家安全,泄露国家秘密,颠覆国家政权,破坏国家统一的;
(三)损害国家荣誉和利益的;
(四)煽动民族仇恨、民族歧视,破坏民族团结的;
(五)破坏国家宗教政策,宣扬邪教和封建迷信的;
(六)散布谣言,扰乱社会秩序,破坏社会稳定的;
(七)散布淫秽、色情、赌博、暴力、恐怖或者教唆犯罪的;
(八)侮辱或者诽谤他人,侵害他人合法权益的;
(九)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序的;
(十)以非法民间组织名义活动的;
(十一)含有法律、行政法规禁止的其他内容的。
针对上诉情况,系统可提供直观的统计分析图表。例如,对某条或某类信息的数量随时间的统计。同时可按用户需求定制其他相关数据的统计功能。
4.4舆情预警
系统可以灵活定制预警规则和关注信息分类,并且默认按照地区或行业将信息标识为相关或不相关。帮助用户在第一时间定位到与自己相关的敏感信息。例如:重点敏感信息包括,政府形象、反华报道、
犯罪执法、公共安全事件、群体性事件。
每个关注信息分类对应的新闻列表,包括总条数、分页数、每条新闻标题、摘要、来源、原文链接等相关信息。同时可以对敏感信息进行针对性的重点关注或加入个人收藏。
4.5舆情报告及管理
系统具备实用的报告生成及报告管理功能,能够按照用户要求的报告方式生成报告。用户选择报告信息后自动加入报告,通过浏览器可直接对报告进行在线编辑,在线保存。同时还可支持领导在线手写批注,电子签章等功能。
●支持多种结构化数据类型的管理:日期型、数值型、字符型、汉字型。
●支持包括TEXT、HTML、RTF、MSOFFICE、PDF、S2/PS2/PS等多种格式文件的存储、索引和检索。
●支持图像、文字、音频、视频等多媒体数据的关联管理与统一检索。
●支持外部纸介质扫描识别形成的数字纸张、网页及网页自动提取内容的管理和检索。
●采用领先于自动切分词技术的字元索引策略,支持按词索引、按字索引、字词混合索引。
4.6舆情全文检索
舆情全文检索是对纯文本、超大文本、电子文档、网页、语音、
图像、活动影像等非结构化数据进行综合管理的重要功能,核心功能是实行非结构化信息的统一存储管理与全文检索,同时提供对包含元数据信息的半结构化数据及关系型数据库的良好支持。系统主要由全文数据库服务器、系统管理员客户端、检索客户端、WEB全文检索系统、二次开发接口等组成。