GVKun编程网logo

sql查询的优化(sql查询的优化方法)

12

在本文中,我们将详细介绍sql查询的优化的各个方面,并为您提供关于sql查询的优化方法的相关解答,同时,我们也将为您带来关于(转贴)SQLServer多表查询的优化方案、.net–优化LINQtoSQ

在本文中,我们将详细介绍sql查询的优化的各个方面,并为您提供关于sql查询的优化方法的相关解答,同时,我们也将为您带来关于(转贴)SQL Server多表查询的优化方案、.net – 优化LINQ to SQL查询的工具和技术、MySQL insert 语句慢查询的优化、Mysql 关于时间范围查询的优化思路的有用知识。

本文目录一览:

sql查询的优化(sql查询的优化方法)

sql查询的优化(sql查询的优化方法)

如何解决sql查询的优化?

我有以下请求,我想知道如何加速。数据来自视图。如果需要,我可以附加 ddl 以创建视图 V_REPORT_USER_disTANCE 和附加 ddl 以在视图中创建表

SELECT t.id,macro.NAME                                                                                       macro,div.name                                                                                         division,clr.NAME                                                                                         cltr,t.user_id,t.user_fio,t.track_datetime,t.OFFSET_HOURS,COALESCE(t.locality,to_char(t.pnt))                                                             point,CASE
           WHEN t.UNIT in (''ENGINEER'')
               THEN (select round(distance,1)
                     from T_disTANCE_REPORT_INFO dri
                     where dri.start_point_id = t.prev_id
                       and dri.end_point_id = t.id)
           ELSE
               decode(t.prev_latitude,round(
                       (disTANCE_IN_METERS(t.PREV_LATITUDE,t.PREV_LONGITUDE,t.LATITUDE,t.LONGITUDE) *
                        (SELECT TRACK_disTANCE_RATIO FROM T_USER_TRACKER_PROP tutp) / 1000),3))
    END                                                                                                 optimal_distance,CASE
           WHEN t.UNIT in (''ENGINEER'')
               THEN sum((select round(distance,1)
                         from T_disTANCE_REPORT_INFO dri
                         where dri.start_point_id = t.prev_id
                           and dri.end_point_id = t.id))
                        OVER
                            (PARTITION BY t.user_id)
           ELSE
               sum(decode(t.prev_latitude,3)))
                   OVER (PARTITION BY t.user_id)
    END                                                                                                 sum_optimal_distance,nvl2(t.duration,lpad(EXTRACT(HOUR FROM t.duration),2,0) || '':'' || lpad(EXTRACT(MINUTE FROM t.duration),0) ||
            '':'' || lpad(EXTRACT(SECOND FROM t.duration),0),''-'')                                    duration,t.description,t.start_check_position,t.end_check_position,count(user_id) OVER (PARTITION BY t.user_id) || '' (всего)'' || ''/''
    || sum(decode(checklistid,NULL,1)) OVER (PARTITION BY t.user_id) || '' (из них магазины)'' all_points
FROM V_REPORT_USER_disTANCE t
         left join T_SHOP shp on shp.ID = t.SHOP_ID
         left join T_CLUSTER clr on clr.ID = shp.CLUSTER_ID
         left join T_GROUP_SHOP div on div.ID = clr.GROUPSHOP_ID
         left join T_MACRO macro on macro.ID = div.MACRO_ID
WHERE t.USER_id in (?1)
  AND TRACK_DATETIME between ?2 AND ?3
order by t.USER_FIO,t.TRACK_DATETIME,t.CHECKLISTID,t.id;

目前,该请求正在以一天为间隔执行约 7 分钟。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)

(转贴)SQL Server多表查询的优化方案

(转贴)SQL Server多表查询的优化方案

SQL Server多表查询优化方案是本文我们主要要介绍的内容,本文我们给出了优化方案和具体的优化实例,接下来就让我们一起来了解一下这部分内容。

1.执行路径

ORACLE的这个功能大大地提高了SQL的执行性能并节省了内存的使用:我们发现,单表数据的统计比多表统计的速度完全是两个概念.单表统计可能只要0.02秒,但是2张表联合统计就

可能要几十秒了.这是因为ORACLE只对简单的表提供高速缓冲(cache buffering) ,这个功能并不适用于多表连接查询..数据库管理员必须在init.ora中为这个区域设置合适的参数,当这个内存区域越大,就可以保留更多的语句,当然被共享的可能性也就越大了.

2.选择最有效率的表名顺序(记录少的放在后面)

ORACLE的解析器按照从右到左的顺序处理FROM子句中的表名,因此FROM子句中写在最后的表(基础表 driving table)将被最先处理. 在FROM子句中包含多个表的情况下,你必须选择记录条数最少的表作为基础表.当ORACLE处理多个表时, 会运用排序及合并的方式连接它们.首先,扫描第一个表(FROM子句中最后的那个表)并对记录进行派序,然后扫描第二个表(FROM子句中最后第二个表),最后将所有从第二个表中检索出的记录与第一个表中合适记录进行合并.

例如:

表 TAB1 16,384 条记录

表 TAB2 1条记录

选择TAB2作为基础表 (最好的方法)

select count(*) from tab1,tab2 执行时间0.96秒

选择TAB2作为基础表 (不佳的方法)

select count(*) from tab2,tab1    执行时间26.09秒

如果有3个以上的表连接查询, 那就需要选择交叉表(intersection table)作为基础表, 交叉表是指那个被其他表所引用的表.

例如:    EMP表描述了LOCATION表和CATEGORY表的交集.


   
   
  1. SELECT *  
  2. FROM LOCATION L ,  
  3.        CATEGORY C,  
  4.        EMP E  
  5. WHERE E.EMP_NO BETWEEN 1000 AND 2000
  6. AND E.CAT_NO = C.CAT_NO  
  7. AND E.LOCN = L.LOCN 

将比下列SQL更有效率


   
   
  1. SELECT *  
  2. FROM EMP E ,  
  3. LOCATION L ,
  4.        CATEGORY C
  5. WHERE   E.CAT_NO = C.CAT_NO
  6. AND E.LOCN = L.LOCN
  7. AND E.EMP_NO BETWEEN 1000 AND 2000 

3.WHERE子句中的连接顺序(条件细的放在后面)

ORACLE采用自下而上的顺序解析WHERE子句,根据这个原理,表之间的连接必须写在其他WHERE条件之前, 那些可以过滤掉最大数量记录的条件必须写在WHERE子句的末尾.

例如:

(低效,执行时间156.3秒)


   
   
  1. SELECT …  
  2. FROM EMP E
  3. WHERE   SAL > 50000
  4. AND     JOB = ‘MANAGER’
  5. AND     25 < (SELECT COUNT(*) FROM EMP
  6. WHERE MGR=E.EMPNO);
  7. (高效,执行时间10.6秒)  
  8. SELECT …  
  9. FROM EMP E
  10. WHERE 25 < (SELECT COUNT(*) FROM EMP
  11.               WHERE MGR=E.EMPNO)  
  12. AND     SAL > 50000  
  13. AND     JOB = ‘MANAGER’; 

4.SELECT子句中避免使用''* ''

当你想在SELECT子句中列出所有的COLUMN时,使用动态SQL列引用 ''*'' 是一个方便的方法.不幸的是,这是一个非常低效的方法. 实际上,ORACLE在解析的过程中, 会将''*'' 依次转换成所有的列名, 这个工作是通过查询数据字典完成的, 这意味着将耗费更多的时间.

5.减少访问数据库的次数

当执行每条SQL语句时, ORACLE在内部执行了许多工作: 解析SQL语句, 估算索引的利用率, 绑定变量 , 读数据块等等. 由此可见, 减少访问数据库的次数 , 就能实际上减少ORACLE的工作量.

方法1 (低效)


   
   
  1. SELECT EMP_NAME , SALARY , GRADE  
  2.      FROM EMP  
  3.      WHERE EMP_NO = 342;  
  4.       SELECT EMP_NAME , SALARY , GRADE  
  5.      FROM EMP  
  6.      WHERE EMP_NO = 291

方法2 (高效)


   
   
  1. SELECT A.EMP_NAME , A.SALARY , A.GRADE,
  2.              B.EMP_NAME , B.SALARY , B.GRADE  
  3.      FROM EMP A,EMP B  
  4.      WHERE A.EMP_NO = 342 
  5.      AND    B.EMP_NO = 291

6.删除重复记录

最高效的删除重复记录方法 ( 因为使用了ROWID)


   
   
  1. DELETE FROM EMP E  
  2. WHERE E.ROWID > (SELECT MIN(X.ROWID)  
  3.                     FROM EMP X  
  4.                     WHERE X.EMP_NO = E.EMP_NO); 

7.用TRUNCATE替代DELETE

当删除表中的记录时,在通常情况下, 回滚段(rollback segments ) 用来存放可以被恢复的信息. 如果你没有COMMIT事务,ORACLE会将数据恢复到删除之前的状态(准确地说是恢复到执行删除命令之前的状况),而当运用TRUNCATE时, 回滚段不再存放任何可被恢复的信息.当命令运行后,数据不能被恢复.因此很少的资源被调用,执行时间也会很短.

8.尽量多使用COMMIT

只要有可能,在程序中尽量多使用COMMIT, 这样程序的性能得到提高,需求也会因为COMMIT所释放的资源而减少:

COMMIT所释放的资源:

a.  回滚段上用于恢复数据的信息.

b.  被程序语句获得的锁

c.  redo log buffer 中的空间

d.  ORACLE为管理上述3种资源中的内部花费(在使用COMMIT时必须要注意到事务的完整性,现实中效率和事务完整性往往是鱼和熊掌不可得兼)

9.减少对表的查询

在含有子查询的SQL语句中,要特别注意减少对表的查询.

例如:

低效:


   
   
  1. SELECT TAB_NAME  
  2.            FROM TABLES  
  3.            WHERE TAB_NAME = ( SELECT TAB_NAME  
  4.                                  FROM TAB_COLUMNS  
  5.                                  WHERE VERSION = 604)  
  6.            AND DB_VER= ( SELECT DB_VER  
  7.                             FROM TAB_COLUMNS  
  8.                             WHERE VERSION = 604 

高效:


   
   
  1. SELECT TAB_NAME  
  2.            FROM TABLES  
  3.            WHERE   (TAB_NAME,DB_VER)  
  4. = ( SELECT TAB_NAME,DB_VER)  
  5.                     FROM TAB_COLUMNS  
  6.                     WHERE VERSION = 604

Update 多个Column 例子:

低效:


   
   
  1. UPDATE EMP  
  2.             SET EMP_CAT = (SELECT MAX(CATEGORY) FROM EMP_CATEGORIES),
  3.                SAL_RANGE = (SELECT MAX(SAL_RANGE) FROM EMP_CATEGORIES)
  4.             WHERE EMP_DEPT = 0020

高效:


   
   
  1. UPDATE EMP  
  2.             SET (EMP_CAT, SAL_RANGE)  
  3. = (SELECT MAX(CATEGORY) , MAX(SAL_RANGE)  
  4. FROM EMP_CATEGORIES)  
  5.             WHERE EMP_DEPT = 0020

10.用EXISTS替代IN,用NOT EXISTS替代NOT IN

在许多基于基础表的查询中,为了满足一个条件,往往需要对另一个表进行联接.在这种情况下, 使用EXISTS(或NOT EXISTS)通常将提高查询的效率.

低效:


   
   
  1. SELECT *  
  2. FROM EMP (基础表)  
  3. WHERE EMPNO > 0  
  4. AND DEPTNO IN (SELECT DEPTNO  
  5. FROM DEPT  
  6. WHERE LOC = ‘MELB’) 

高效:


   
   
  1. SELECT *  
  2. FROM EMP (基础表)  
  3. WHERE EMPNO > 0  
  4. AND EXISTS (SELECT ‘X’  
  5. FROM DEPT  
  6. WHERE DEPT.DEPTNO = EMP.DEPTNO
  7. AND LOC = ‘MELB’) 

(相对来说,用NOT EXISTS替换NOT IN 将更显著地提高效率)

在子查询中,NOT IN子句将执行一个内部的排序和合并. 无论在哪种情况下,NOT IN都是最低效的 (因为它对子查询中的表执行了一个全表遍历).   为了避免使用NOT IN ,我们可以把它改写成外连接(Outer Joins)或NOT EXISTS.

例如:


   
   
  1. SELECT …  
  2. FROM EMP  
  3. WHERE DEPT_NO NOT IN (SELECT DEPT_NO  
  4.                           FROM DEPT  
  5.                           WHERE DEPT_CAT=''A''); 

为了提高效率.改写为:

(方法一: 高效)


   
   
  1. SELECT ….  
  2. FROM EMP A,DEPT B  
  3. WHERE A.DEPT_NO = B.DEPT(+)  
  4. AND B.DEPT_NO IS NULL  
  5. AND B.DEPT_CAT(+) = ''A'' 

(方法二: 最高效)


   
   
  1. SELECT ….  
  2. FROM EMP E  
  3. WHERE NOT EXISTS (SELECT ''X''
  4.                      FROM DEPT D
  5.                      WHERE D.DEPT_NO = E.DEPT_NO  
  6.                      AND DEPT_CAT = ''A''); 

当然,最高效率的方法是有表关联.直接两表关系对联的速度是最快的!

11.识别''低效执行''的SQL语句

用下列SQL工具找出低效SQL:


   
   
  1. SELECT EXECUTIONS , DISK_READS, BUFFER_GETS,  
  2.          ROUND((BUFFER_GETS-DISK_READS)/BUFFER_GETS,2) Hit_radio,
  3.          ROUND(DISK_READS/EXECUTIONS,2) Reads_per_run,  
  4.          SQL_TEXT  
  5. FROM    V$SQLAREA  
  6. WHERE   EXECUTIONS>0  
  7. AND      BUFFER_GETS > 0  
  8. AND (BUFFER_GETS-DISK_READS)/BUFFER_GETS < 0.8 
  9. ORDER BY 4 DESC; 

(虽然目前各种关于SQL优化的图形化工具层出不穷,但是写出自己的SQL工具来解决问题始终是一个最好的方法)

关于SQL Server多表查询优化方案的相关知识就介绍到这里了,希望本次的介绍能够对您有所收获!

.net – 优化LINQ to SQL查询的工具和技术

.net – 优化LINQ to SQL查询的工具和技术

我有几个LINQ to SQL查询,我觉得需要花费很多时间.我可以使用哪些工具和技术来首先找到:

>他们需要多长时间,如果有的话
改进的余地?
>找出我可以改变的内容并轻松测试是否可以
变化有效吗?

工具,技术和阅读资源都将受到赞赏(ergo up-Voted;))

解决方法

我刚刚参加了最近由 LINQ In Action的作者之一Jim Wooley给出的代码大会活动的LINQ Tools演示.他是 blogged about all the tools.以下是与您的问题相关的内容,但是他的帖子列出了其他需要研究的好东西.

> SQL Server Profiler($$$) – sql Management Studio的一部分.
> Huagati LINQ to SQL Profiler($$$,45天试用版) – Profiler,它扩展了Context.Log功能.包括sql Server Profiler以外的查询的性能和调用堆栈.
> LINQ to SQL Visualizer(免费) – VS2008的部分C#样本.下载,编译,享受!
> LINQPad(免费,支付C#Intellisense) – 轻量级工具运行C#/ VB.NET代码,连接到DB,测试Linq到sql,查看生成的sql等.

MySQL insert 语句慢查询的优化

MySQL insert 语句慢查询的优化

近期发现 MySQL slow log 里面有很多慢查询,而分析慢查询日志发现大量的慢查询是 insert 语句的。在高峰期(早上 10 点左右)半小时的慢查询量可以到 28G 左右。遂决定优化

 

优化方法:

1、 一个客户端在一个时候要插多条数据,那么用多个 values

insert into t1 values(...),(...),(...)

如果是往一个非空的表里插数据,可调节 bulk_insert_buffer_size(缺省为 8388608 字节 = 8M)

 

2、 如果多个客户端在同时插许多条数据,那么用 insert delayed 语句

利:客户端马上返回,数据排成一队;数据整齐的写到一个块里,而不是分散。

弊:如果这个表被查获删数据,那么插入会变慢,另外,为这个表起一个 handler 线程来处理这些数据也要耗费一些额外资源

待插的数据放在内存里,一旦数据库被意外终止(如 kill -9),那么数据会丢失。

这个方法只适用于 myisam,memory,archive,blackhole 引擎类表。

可调节 delayed_insert_limit(缺省为一次 100 条)

delayed_insert_timeout(缺省为 300)秒内,若无新的 insert delayed 语句,则 handler 线程退出。

delayed_queue_size(缺省为 1000 条)一旦满了,客户端的 insert delayed 会阻塞。

比第一个方法要慢。

而且对 Myisam 来说,在可以使用方法 3 时,不需用此方法 2。

 

3、对 Myisam 表来说,如果一个表中间没有删除过数据,那么,在 Select 语句执行时,可以同时执行 insert 语句将数据插在文件最后。

concurrent_insert 必须为 1(缺省就是 1)

 

4、从文本文件执行 load data infile 一般要比用 insert 语句快 20 倍。

如果表有索引,可以先去掉索引,load 完后,再加上索引。可以提高速度(相比 load 同时建索引,可以减少 disk seek)。

这个事后建索引的方法在 msisam 表为空时自动执行。

 

5、如果插入多条语句,可以先 lock tables t write,插入后再 unlock tables (索引会只 flush 一次); 但如果当中只有 1 条 insert,那么不需要。

 

6、要提高 Myisam 表的 load data 和 insert 速度,可提高 key_buffer_size(缺省为 8M)

如果机器有 256M 以上内存,那么可以设 key_buffer_size 为 64M,table_open_cache 可以调高为 256(缺省为 64)

如果有 128M 以上内存,可以设 key_buffer_size 为 16M

Mysql 关于时间范围查询的优化思路

Mysql 关于时间范围查询的优化思路

ps:先说说写这个文章的原因吧, 因为我实在受不了这个mysql 时间范围查询如此之慢 。没办法总结出一些思路

这里只给出几点有关mysql 查询时间范围的建议

  • 改用datetime timestamp 为时间戳int 模式。

来说说为什么,我们在查询数据库时间范围的时候 使用between and 时,我们可以采取explain 来测试一下mysql 的查询过程,很容易发现在between 查询时间范围时 type 为ALL Using Where 全表扫描不是我们想要的模式。我们可采取的优化思路就是换成int 的时间戳模式,在逻辑处理的时候增加一个时间转换。当然 在时间范围查询比较麻烦的时候。这样索引很容易命中。

  • 一定要使用datetime timestamp时 可以采取的思路

首先就是分离出子查询,一定要将含时间范围的子查询分离出来,能使用查询索引,尽量命中索引。尽量避免多查询连接join,会更加拖慢mysql 的查询效率。

  • 关于datetime 和 timestamp 的查询效率问题

首先要说明的是,几乎没啥区别,如果说有区别的话,那就是datetime的时间范围逼timestamp要大, 同时timestamp 比datetime 更节省空间,至于选择哪个类型,个人见仁见智。

  • 最后要说的

虽然文章很短。 但是这个过程是心酸的,被领导逼的。

关于sql查询的优化sql查询的优化方法的介绍现已完结,谢谢您的耐心阅读,如果想了解更多关于(转贴)SQL Server多表查询的优化方案、.net – 优化LINQ to SQL查询的工具和技术、MySQL insert 语句慢查询的优化、Mysql 关于时间范围查询的优化思路的相关知识,请在本站寻找。

本文标签: