3款自助型BI分析平台功能盘点，帮助你预测商业发展方向

在快速发展的今天，商业智能BI已经不同于传统的商业智能BI，商业智能BI已经逐渐转变为自助和业务主导的模式，自助BI分析平台应运而生，自助BI分析平台逐渐成为许多企业的选择。

 

自助式BI分析平台与传统商业智能BI有何不同？传统的BI侧重于数据平台的建设，提供报表服务，以IT为主，多集中在公司的IT部门，以数据分析为主，以业务分析为主，面向没有IT背景的业务分析师。与传统的BI分析平台相比，自助式BI分析平台更加灵活、易于使用，并在一定程度上摆脱了对IT部门的严重依赖。

 

 

 

与传统BI相比，自助BI分析平台具有以下优点：

1.提供可视化界面，方便交互；

2.支持多种数据源，不仅由IT提供，还包括其他分散的Excel、CSV的线下数据源；

3.可以携带更多更精细的数据，快速响应用户的搜索需求；

4.能够共享和查看内部报告；

5.可连接大数据平台，具有大数据前端分析显示功能。

 

以下是三个流行的自助BI分析平台，供您选择参考。

 

一、思迈特软件Smartbi

Smartbi面向IT的强控制与面向业务的全自助相结合。对技术人员而言，面向大型组织的强控制功能适用于多层次机构的自助分析，包括：统一权限、统一语义层、共享数据集、统一门户、统一运营服务等。全自助功能面向业务人员，以业务为导向，支持业务人员自行添加和处理数据；自助分析功能包括：可视化探索、多维分析、透视分析、明细查询等。

 

利用思迈特软件Smartbi的可视化设计过程，鼠标拖拽就可以快速完成数据集的准备。视觉探索和仪表盘制作，丰富的视觉显示。BI看板制作简单，交互控制和图表组件丰富，并且不受维度和度量限制。支持多数据源，布局灵活，支持业务主题和自助数据集，双布局设计，跨屏发布到APP，支持流式布局。

 

 

 

二、Tableau

Tableau拖拽界面，操作简单。它具有很强的数据兼容性，可用于各种数据文件和数据库，也可用于windows.mac和Online。

 

三、Qlikview

Qlikview的主要特点是易于开发和使用。Qlikview只需点击几下，就可以合并所有数据源。搜索、可视化和分析。当Qlikview通过AQL系统结构提供灵活性和强大的分析能力时，AQL系统结构改变了OLAP系统结构的需求。

 

总结：自助BI分析平台可以解放IT人员，让IT人员进行更深入的程序开发。业务人员还可以制作与业务相关的数据分析仪表盘，无需等待IT人员开发。不同部门的人可以更加专注于工作。与传统BI相比，不再依赖IT人员，可以有效提高各部门的工作效率。

Arduino NFC Waspmote LoRa P2P RPi DRAGINO

Arduino RFID-RC522 transmit UID to Waspmote using UART, then send UID to Raspberry Pi with DRAGINO LoRa shield through LoRa P2P, then insert record into MySQL.

It is quite complex solution as the environmental constrains.
My DB server is in a lab and the distance from the door to the lab is quite far, so the WiFi cannot reach. So the only fast and cheap solution is to use LoRa, lucky we brought them.

Arduino RFID-RC522 read UID

The code & connection diagram for RFID-RC522 of Arduino is very easy to find in the internet, has plenty of them.

UART communication between Arduino & Waspmote

Since we only need to transmit the UID to Waspmote, does not require feedback, so we only need to connect the TX pin of Arudino to the RX pin of the Waspmote. However, the primary serial port is used by the LoRa, so we need to use the auxiliary serial port, Waspmote does have 2 auxiliary serial ports, thanks to that. Just need to modify the Radio P2P example - Sending packets of the Waspmote LoRa example and add a few line of code, as below.

#include "WaspUART.h"

WaspUART uart = WaspUART();

void setup()
{
  USB.ON();
  USB.println(F("Radio P2P example - Sending packets\n"));

  // module setup
  error = radioModuleSetup();
  
  // Check status
  if (error == 0)
  {
    USB.println(F("Module configured OK"));     
  }
  else 
  {
    USB.println(F("Module configured ERROR"));     
  }  

  uart.setBaudrate(9600);
  uart.setUART(1);
  uart.beginUART();
  Utils.setMuxAux1();
  beginSerial(9600,1);
}

void loop()
{
  uart.readBuffer(sizeof(uart._buffer));
  if (uart._length > 0)
  {
    for (int i = 0; i < 8; i++)
    {
      uid[i * 2 + 1] = uart._buffer[i];
    }
    
    // Send packet
    error = LoRaWAN.sendRadio(uid);
    
    // Check status
    if (error == 0)
    {
      USB.println(F("--> Packet sent OK"));
    }
    else 
    {
      USB.print(F("Error waiting for packets. error = "));  
      USB.println(error, DEC);   
    }
  }
  delay(1000);
}
#
#
#

Waspmote send UID to Raspberry Pi with DRAGINO LoRa shield through LoRa P2P

To setup, I mainly followed the instructions from Use Lora/GPS HAT + RaspberryPi to set up a Lora Node.

1. Use ''raspi-config'' to ensure that SPI can be used on RPi;

2. Use ''git clone git://git.drogon.net/wiringPi'' to install the GPIO access library written in C for the BCM2835 used in the Raspberry Pi;

3. Get the single channel LoRa Gateway source code from HERE.

4. Edit the ''main.cpp''.

Since I am not going to send any data to the internet, I have made quite modifications, I removed all the codes that used to communicate to the TTN network and debug printings. But, I didn''t change any of the logic, the only thing I add, I will discuss it next.

Raspberry Pi insert record into MySQL once received.

Since the code using for receiving is written in C, so it will be quite troublesome to do SQL operations. My solution is to use python script to do the insertion. In order for C to execute Python script, you need to do the following.

1. Run sudo apt-get install python-dev If you don''t have Python.h, which usually not necessary.

2. Modify the code.

   #include <Python.h>
   
       #add the code snippet after successfully received in the receivePkt(char *payload) function
       FILE *cp = fopen("insertUID.py", "r");
       Py_Initialize();
       char *argv[2];
       argv[0] = "insert";
       argv[1] = payload;
       PySys_SetArgv(2, argv);
       int rc = PyRun_SimpleFile(cp, "insertUID.py");
       fclose(cp);
       Py_Finalize(); 

3. Write a python script to do the insertion.

   import mysql.connector
   import sys
   
   cnx = mysql.connector.connect(host=''10.228.240.101'', user=''root'', database=''e-fire_register'')
   cursor = cnx.cursor()
   
   uid_insert = "INSERT INTO UserActivity (UID) VALUES (%s)"
   uid_data = (sys.argv[1],)
   
   cursor.execute(uid_insert, uid_data)
   
   cnx.commit()
   cursor.close()
   cnx.close()

4. Modify the Makefile to include the Python.h in order to build successfully.

CC=g++
CFLAGS=-c -Wall
LIBS=-lwiringPi
LIBS_Py=-I/usr/include/python2.7 -lpython2.7

all: single_chan_pkt_fwd

single_chan_pkt_fwd: base64.o main.o
    $(CC) main.o base64.o $(LIBS) $(LIBS_Py) -o single_chan_pkt_fwd

main.o: main.cpp
    $(CC) $(CFLAGS) main.cpp $(LIBS_Py) 

base64.o: base64.c
    $(CC) $(CFLAGS) base64.c

clean:
    rm *.o single_chan_pkt_fwd    

TODO: The Waspmote V1.2 above does have a SPI interface, so it may be possible that the Waspmote could read from the RFID-RC522 directly.

bi-pilot olap 分析

 

BI-Pilot 分析服务器是用于联机分析处理 (OLAP) 的中间服务器。BI-Pilot 分析服务器可以构造用于分析的数据多维数据集，同时还提供对多维数据集信息的快速客户端访问。BI-Pilot 析服务器将数据仓库中的数据组织成包含预先计算聚合数据的多维数据集，以便为复杂的分析查询提供快速的结果。

BI-Pilot 分析服务器提供了对数据仓库数据的快速访问。通过在多维结构中对数据仓库中的数据进行提取、汇总、组织和存储，可以对最终用户查询做出快速响应。

BI-Pilot 分析服务器提供设计、创建和管理来自数据仓库的多维数据集的功能，还提供对 OLAP 数据的客户端访问。

BI-Pilot 析服务器提供服务器功能以创建和管理 OLAP 多维数据集，并通过 OlapEngine 服务和 BI 服务为客户端提供数据。服务器操作包括：

²  从关系数据库，通常是数据仓库，创建并处理多维数据集。

²  在关系数据库中存储多维数据集数据。

²  以标准化 XML 格式的形式存储数据元数据。

²  提供数据抽取接口。

OlapEngine 服务可与分析服务器进行通讯并为客户端应用程序提供接口， 以访问服务器上的 OLAP 数据。客户端应用程序使用 Java 的 OLAP 接口来连接到 OlapEngine 服务。

GWAS这十年 | 10 Years of GWAS Discovery: Biology, Function, and Translation

相关文章：

A Unified Framework for Association Analysis with Multiple Related Phenotypes

 

太重要了，不得不单独拿出来分析一下。本review高度总结了GWAS这10年的成绩、以及现在的局限性。每个搞统计遗传的都必须要好好看看。

 

第一篇GWAS是什么时候？谁提出的？The first successful GWAS published in 2002 studied myocardial infarction. Ozaki

trans-ethnic和meta analysis的区别？不同人种和整合分析，概念不一样，目的不一样

Twin study是什么？优势是什么？用于估计heritability。本质就是控制变量，同卵双胞胎share了同样的遗传物质，所以他们的表型差异完全可以归结为非genetic的环境变异。"identical" or monozygotic (MZ) twins share essentially 100% of their genes, which means that most differences between the twins (such as height, susceptibility to boredom, intelligence, depression, etc.) are due to experiences that one twin has but not the other twin.

GWAS里面cohort study是什么？The importance of cohort studies in the postGWAS era 

LD和correlation的联系和区别？LD表征的是一个SNP的特征，correlation是两个对象之间的相关性。LD就是某个SNP的1M区域内，其所有阈值超过0.5的r2的总和。

heritability是什么？在GWAS中如何计算？heritability在不同人群中是会变的，因为GE interaction会变，看wiki定义。

在GWAS实验设计中，有哪些因素会影响power？如何计算power和控制power？见下文

什么是genetic architecture？the joint distribution of effect size and allele frequency

GWAS的SNP arrays通常包含多少个SNP位点，是如何选择出这些位点的？minor allele frequency (MAF) typically larger than 1%.

为什么要做SNP imputation，根据什么来做？haplotype

什么情况下WGS能检测出rare variant与trait的association？sample size足够，或者effect size足够，最终还是要power足够。

burden testing of rare variant是什么？以基因为单位，检验rare variant在case和control中的差异是否显著。

 

10 Years of GWAS Discovery: Biology, Function, and Translation

之前的第一个五年总结：Five Years of GWAS Discovery

 

The GWAS is an experimental design used to detect associations between genetic variants and traits in samples from populations. 可以说genetic variants，也可以说gene，或者loci。

GWAS其实是一种包含了实验设计和分析的整合方法，主要用于complex-trait的控制基因定位。如果是单基因病monogenic disease的话，就没必要做GWAS了。

对于正常的性状，比如身高，定位到的就是控制身高的一些loci；对于疾病就是定位到导致疾病的一些variant上。

variant有很多种，目前GWAS主要关注的是SNP，其实还有InDel、CNV和SV。

 

这就是我的主要工作，学学别人的措辞：

The path from GWAS to biology is not straightforward because an association between a genetic variant at a genomic locus and a trait is not directly informative with respect to the target gene or the mechanism whereby the variant is associated with phenotypic differences.

 

The statistical power to detect associations between DNA variants and a trait depends on the experimental sample size, the distribution of effect sizes of (unknown) causal genetic variants that are segregating in the population, the frequency of those variants, and the LD between observed genotyped DNA variants and the unknown causal variants.

 

In addition, other genome-wide scans, such as WES and WGS studies, allow testing for a burden of rare variants across shared functional units (e.g., genes) in a way that is not accessible to GWASs.

 

Burden Testing of Rare Variants Identified through Exome Sequencing via Publicly Available Control Data

这个视频讲得很好，由浅及深：BroadE: Statistical Genetics - Rare variants

 

以下是本review的框架：

复杂性状的高度多基因性Complex Traits Are Highly Polygenic

phenotype可以很general，大到身高、小到基因表达、表观变化。

Polygenic就是控制复杂性状的基因或loci是很多的，如何整合解释它们整体的影响非常重要。

多效性是普遍存在的Pleiotropy Is Pervasive

多效性就是一个位点的突变可能影响了多种表现，这也就是为什么很多表型具有高度的相关性。

新的分析方法学New Analysis Methodology Underpinning New Discovery

GWAS的后续研究主要有以下四个方面：

(1) methods of better modeling population structure and relatedness between individuals in a sample during association analyses,28–34
(2) methods of detecting novel variants and gene loci on the basis of GWAS summary statistics, 35–37
(3) methods of estimating and partitioning genetic (co)variance,38,39 and
(4) methods of inferring causality.40–42

 

常见变异解释了大部分的累积遗传变异Common Variants Together Tag a Substantial Proportion of Additive Genetic Variance

Additive Genetic Variance就是指AA、Aa、aa之间的表型是线性的，而不是显性和隐性的关系。

遗传预测方法The Utility of GWAS-Derived Genetic Predictors

polygenic risk score (PRS)，就是根据每个个体的变异和effect size，给每一个个体一个具体的患某疾病的打分。

公共数据库的应用The Public Availability of Data Has Enabled Novel Research and Discoveries

GWAS Catalog - EMBL-EBI，最有名的数据库。

UK Biobank 

从GWAS到生物学From GWAS to Biology

如何填补这个gap，于是出现了很多数据库：ENCODE Epigenome RoadMap, and GTEx

三个成功的GWAS案例Three Exemplars of GWAS Success

值得一看，如何用精简的语言高度总结一个项目。

 

关于Transwarp Pilot: 让BI分析全面自助化的问题就给大家分享到这里，感谢你花时间阅读本站内容，更多关于3款自助型BI分析平台功能盘点，帮助你预测商业发展方向、Arduino NFC Waspmote LoRa P2P RPi DRAGINO、bi-pilot olap 分析、GWAS这十年 | 10 Years of GWAS Discovery: Biology, Function, and Translation等相关知识的信息别忘了在本站进行查找喔。

本文标签：

• Transwarp
• BI分析
• 全面自助化
• Pilot