기본 콘텐츠로 건너뛰기

개발 공부 - JDBC, ORACLE 대용량 Insert, Update, Delete

용어 뜻:
데이터베이스에서 퍼포먼스 향상 및 불필요한 작업의 수를 줄이려 한다면
매번 발생하는 Insert/Update/Delete 처리를 한 번의 배치 작업으로 처리할 수 있다.
JDBC 2.0의 addBatch(), executeBatch()로 구현할 수 있다.
장점: 범용성 (JDBC 2.0을 지원하는 모든 데이터베이스에서 사용 가능)
단점: Oracle Specific 모델에 비해 대량의 작업일수록 속도가 낮다.
OutofMemoryError를 방지하기 위해 executeBatch를 중간 중간 날려줘야 한다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
    m_conn = getConnection(); 
 
        SQLUtil sqlUtil = new SQLUtil( m_conn); 
 
  try 
  { 
            PreparedStatement ps = sqlUtil.getPreparedStatement( new StringBuffer("INSERT INTO ").append( getTableName()) 
                         .append(" ( "
                         .append( getColumns()) 
                         .append(") VALUES "
                         .append( getInsertValue()) 
                         .toString()); 
 
            m_conn.setAutoCommit(false); 
 
            int nDefault = 100
            forint i = 0; i < 10000; i++
            { 
                ps.setString( 1"19001310095000" + ( nDefault + i)); 
                ps.setString( 2"1310095"); 
                ps.setString( 3"테스트"); 
                ps.setString( 4"1"); 
                ps.setString( 5"1900"); 
 
                // .. 중간 생략 
                 
                //Insert구문을 더한다. 
                ps.addBatch(); 
 
                // 배치에 너무 많은 건수를 입력할 경우 
                // OutofMemoryError가 발생하기 때문에 적당하게 나누어 주어야 한다. 
                if( i % 5000 == 0) { 
     ps.executeBatch(); 
    } 
    //System.out.println(parent); 
   } 
   ps.executeBatch(); // 나머지 배치처리 
 
            //  executeBatch의 리턴값은 int[]이다. 각각의 int값은 
            // "0" 이상 -- 정상적인 처리 :  테이블의 변경된 행수를 나타낸다. 
            // "-2" -- 정상적인 처리, 변경된 행수가 불분명하다. 
            // "-3" -- 실행 실패, 
 
            m_conn.commit(); 
  } 
        catch(Exception e) 
        { 
            m_conn.rollback(); 
            e.printStackTrace(); 
        } 
  finally 
  { 
   sqlUtil.close(); 
        } 
cs


또한 Oracle에서는 Oracle-Specific Model 이 제공해 준다.
장점: 대량의 작업일수록 퍼포먼스가 향상한다.
단점: 오라클에서만 사용해야 하므로 이식성이 떨어진다.
적절한 배치 크기를 설정해 주어야 한다.
conn.setDefaultExecuteBatch(500) & ps.setExecuteBatch(500)
이 값들을 적절히 설정해야만 최상의 퍼포먼스를 얻을 수 있다.

특징: 배치에 대한 어떠한 세팅도 이루어져 있지 않다면 Connection은 
자동으로 한 건의 데이터에 대한 각각의 배치 처리를 시도하려고 한다.
오라클에서 이야기하는 최상의 퍼포먼스값은 batch 작업의 크기가 5에서 30 사이일때라고 이야기한다.

PreferenceStatement에 배치를 많이 올리고 있다고 하더라도 Commit만 만나면 
Driver는 아무런 생각없이 sendBatch()라는 request를 데이터베이스로 날려서
현재 올려진 데이터를 update 시킨다.


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
        OracleConnection conn = null
        OraclePreparedStatement ps = null
 
        try 
        { 
            conn = ( OracleConnection)getConnection(); 
 
            conn.setAutoCommit(false); 
 
            conn.setDefaultExecuteBatch( 500); 
 
            ps = ( OraclePreparedStatement)conn.prepareStatement( new StringBuffer("INSERT INTO ").append( .append( getTableName()) 
                          .append(" ( "
                          .append( getColumns()) 
                          .append(") VALUES "
                          .append( getInsertValue()) 
                          .toString()); 
 
            ps.setExecuteBatch( 500); 
 
            int nDefault = 100
 
            forint i = 0; i < 10000; i++
            { 
                ps.setString( 1"19001310095000" + (nDefault + i)); 
                ps.setString( 2"1310095"); 
                ps.setString( 3"테스트"); 
                ps.setString( 4"1"); 
                ps.setString( 5"1900"); 
                                 
                //.. 중간생략 
 
                //이 부분에서는 DB로 아무값도 날아가지 않는다고 한다..좀 미심쩍긴 하지만 믿어야지 뭐.... 
                ps.executeUpdate (); 
 
            } 
 
            //단 한번의 roundtrip으로 작업이 수행된다. 
            ps.sendBatch (); 
 
            conn.commit(); 
        } 
        catch( Exception e) 
        { 
            conn.rollback(); 
            e.printStackTrace(); 
        } 
        finally 
        { 
            try 
            { 
                if( ps != null
                { 
                    ps.close(); 
                } 
 
                if( m_conn != null
                { 
                    conn.close(); 
                } 
 
            } 
            catch( Exception e) 
            { 
                e.printStackTrace(); 
            } 
        } 
 
cs

OracleConenction, OraclePreparedStatement는 classes12.zip 안에 있다.
Oracle을 설치 후 설치 디렉토리\SID\JDBC 디렉토리에 가면 demo와 doc 폴더에서 참조할 수 있다.

주의 사항: JDBC 2.0과 Oracle-Specific Model을 동시에 사용할 수는 없다.
데이터 건수가 많아질수록 Oracle-Specific Model 배치의 크기를 적절하게 주었을 때 좋은 성능을 볼 수 있다.


출처:
LIVE LOVE LIFE, 2016-10-25, http://m.blog.naver.com/inhim/100154127152
한국데이터진흥원, 2016-10-25, http://www.kodb.or.kr/info/info_06_view.php?dbnum=176504

댓글

이 블로그의 인기 게시물

Ebook - 전자책 drm 상관 없이 pdf로 만들기

yes24와 교보문고에서 ebook을 구매 해야 했는데 너무 불편하고, 필기가 매우 화날 정도로 안 좋아서 원시적으로 사용하기로 했다. 1. 목적 : ebook에서 필기 및 사용이 불편하여 pdf로 변환  2. 용도 : 개인 사용 목적이며 화질이 다소 저하되어도 필기만 용이하면 상관 없음 3. 방법 1) 휴대폰 및 카메라로 동영상을 촬영했다. DRM 때문에 프로그램으로는 촬영이 안 되는 것을 확인했다. (사실 개인 사용 목적이면 기본 화면 캡쳐를 사용해도 된다...) 2) 마우스 클릭 해주는 매크로를 사용했다. (1) key_macro.exe > https://blog.daum.net/pg365/250 듀얼 모니터에서 위치 이탈 현상이 있긴 해도 괜찮았다. (2) AutoClick.exe > http://bestsoftwarecenter.blogspot.com/2011/02/autoclick-22.html 이 걸로 잘 사용했다. 3초마다 한 번 클릭하도록 사용했다. 3) 동영상을 이미지로 변경해주는 프로그램을 사용했다. Free Video to JPG Converter > https://www.dvdvideosoft.com/products/dvd/Free-Video-to-JPG-Converter.htm (240826: 다운로드 시 정상적으로 되지 않아서 URL 수정) 일 하면서 듀얼 모니터에 켜 놨는데 속도가 괜찮았다. * Every frame 으로 사용해야 한다. 4) 중복 사진 제거해주는 프로그램을 사용했다. VlsiPics  > http://www.visipics.info/index.php?title=Main_Page 생각보다 느리니 퇴근시에 걸어놓고 가면 된다. 한번 play가 끝나면 Auto-select 하고 Delete 하면 된다. 5) 이미지를 일괄 Crop 작업 해주는 프로그램을 사용했다. JPEGCrops > https://jpegcrops.softonic.kr/ *...

개발 공부 - json JSONObject 사용 시 백슬래시(\), 원화 표시(\) 제거 및 치환

import org.json.simple.JSONObject; String dataString = new String(authData.toJSONString()); dataString = dataString.replaceAll("\\\\", ""); String 으로 안 바뀌는 가 싶어서 String 으로 변환 해 주고 작업 하였다. 사실 toJSONString 해도 정상 동작 해야 하는데 이유를 잘 모르겠음. 그리고 나서 다시 이클립스 구동 하니 toString 도 먹은 걸로 봐서 이상하다고 생각! String dataString = authData.toString(); dataString = dataString.replaceAll("\\\\", ""); 어쨌든 백 슬래시 제거를 해줘야 하는데 \\ 도 아니고 \\\\를 해야 변환이 가능했다는 결말이었습니다. 참고 : https://stackoverflow.com/questions/15450519/why-does-string-replace-not-work/15450539 test =test.replace("KP", "");  replace 후에 담아 주지 않으면 적용이 안 됩니다!

개발 공부 - OracleXETNSListener 서비스가 로컬 컴퓨터에서 시작했다가 중지되었습니다.

여러 가지 요인이 있지만 PC 이름 변경시 OracleXETNSListener 서비스 시작이 불가능합니다. 고치는 법은 C:\oraclexe\app\oracle\product\11.2.0\server\network\ADMIN 와 같은 설치 경로에서 listener.ora와 tnsnames.ora 의 pc명을 바꾼 PC명으로 바꿔주면 됩니다. 그래도 안 된다면 cmd 창에서 services.msc 를 입력 후 OracleXETNSListener 서비스를 시작 시키면 됩니다. 오류명: OracleXETNSListener 서비스가 로컬 컴퓨터에서 시작했다가 중지되었습니다. 일부 서비스는 다른 서비스 또는 프로그램에서 사용되지 않으면 자동으로 중지됩니다. 참고한 사이트들 1. http://blog.naver.com/visioner7/120165951652 2. http://database.sarang.net/?inc=read&aid=6819&criteria=oracle&subcrit=&id=&limit=20&keyword=ora-12560&page=5 이런 걸 보면 오라클은 앙칼진 시골 아가씨야