hibernate 批處理

某些場景下，我們需要使用 hibernate 將大量的數據上傳數據庫中。

以下是使用 hibernate 來達到這個的代碼片段：

session session = sessionfactory.opensession();
transaction tx = session.begintransaction();
for ( int i=0; i<100000; i++ ) {
    employee employee = new employee(.....);
    session.save(employee);
}
tx.commit();
session.close();

因為默認下，hibernate 將緩存所有的在會話層緩存中的持久的對象并且最終你的應用程序將和 outofmemoryexception 在第 50000 行的某處相遇。你可以解決這個問題，如果你在 hibernate 使用批處理。

為了使用批處理這個特性，首先設置 hibernate.jdbc.batch_size 作為批處理的尺寸，取一個依賴于對象尺寸的值 20 或 50。這將告訴 hibernate 容器每 x 行為一批插入。為了在你的代碼中實現這個我們將需要像以下這樣做一些修改：

session session = sessionfactory.opensession();
transaction tx = session.begintransaction();
for ( int i=0; i<100000; i++ ) {
    employee employee = new employee(.....);
    session.save(employee);
    if( i % 50 == 0 ) { // same as the jdbc batch size
        //flush a batch of inserts and release memory:
        session.flush();
        session.clear();
    }
}
tx.commit();
session.close();

上面的代碼將使 insert 操作良好運行，但是如果你愿意進行 update 操作那么你可以使用以下代碼達到這一點：

session session = sessionfactory.opensession();
transaction tx = session.begintransaction();

scrollableresults employeecursor = session.createquery("from employee")
                                   .scroll();
int count = 0;

while ( employeecursor.next() ) {
   employee employee = (employee) employeecursor.get(0);
   employee.updateemployee();
   seession.update(employee);
   if ( ++count % 50 == 0 ) {
      session.flush();
      session.clear();
   }
}
tx.commit();
session.close();

批處理樣例

讓我們通過添加 hibernate.jdbc.batch_size 屬性來修改配置文件：

<?xml version="1.0" encoding="utf-8"?>
<!doctype hibernate-configuration system
"http://www.hibernate.org/dtd/hibernate-configuration-3.0.dtd">

<hibernate-configuration>
   <session-factory>
   <property name="hibernate.dialect">
      org.hibernate.dialect.mysqldialect
   </property>
   <property name="hibernate.connection.driver_class">
      com.mysql.jdbc.driver
   </property>

   <!-- assume students is the database name -->
   <property name="hibernate.connection.url">
      jdbc:mysql://localhost/test
   </property>
   <property name="hibernate.connection.username">
      root
   </property>
   <property name="hibernate.connection.password">
      root123
   </property>
   <property name="hibernate.jdbc.batch_size">
      50
   </property>

   <!-- list of xml mapping files -->
   <mapping resource="employee.hbm.xml"/>

</session-factory>
</hibernate-configuration>

考慮以下 pojo employee 類：

public class employee {
   private int id;
   private string firstname;
   private string lastname;   
   private int salary;  

   public employee() {}
   public employee(string fname, string lname, int salary) {
      this.firstname = fname;
      this.lastname = lname;
      this.salary = salary;
   }
   public int getid() {
      return id;
   }
   public void setid( int id ) {
      this.id = id;
   }
   public string getfirstname() {
      return firstname;
   }
   public void setfirstname( string first_name ) {
      this.firstname = first_name;
   }
   public string getlastname() {
      return lastname;
   }
   public void setlastname( string last_name ) {
      this.lastname = last_name;
   }
   public int getsalary() {
      return salary;
   }
   public void setsalary( int salary ) {
      this.salary = salary;
   }
}

讓我們創建以下的 employee 表單來存儲 employee 對象：

create table employee (
   id int not null auto_increment,
   first_name varchar(20) default null,
   last_name  varchar(20) default null,
   salary     int  default null,
   primary key (id)
);

以下是將 employee 對象和 employee 表單配對的映射文件。

<?xml version="1.0" encoding="utf-8"?>
<!doctype hibernate-mapping public
 "-//hibernate/hibernate mapping dtd//en"
 "http://www.hibernate.org/dtd/hibernate-mapping-3.0.dtd">

<hibernate-mapping>
   <class name="employee" table="employee">
      <meta attribute="class-description">
         this class contains the employee detail.
      </meta>
      <id name="id" type="int" column="id">
         <generator class="native"/>
      </id>
      <property name="firstname" column="first_name" type="string"/>
      <property name="lastname" column="last_name" type="string"/>
      <property name="salary" column="salary" type="int"/>
   </class>
</hibernate-mapping>

最后，我們將用 main() 方法來創建我們的應用程序類以運行應用程序，我們將使用 session 對象和可用的 flush() 和 clear() 方法以讓 hibernate 持續將這些記錄寫入數據庫而不是在內存中緩存它們。

import java.util.*;

import org.hibernate.hibernateexception;
import org.hibernate.session;
import org.hibernate.transaction;
import org.hibernate.sessionfactory;
import org.hibernate.cfg.configuration;

public class manageemployee {
   private static sessionfactory factory;
   public static void main(string[] args) {
      try{
         factory = new configuration().configure().buildsessionfactory();
      }catch (throwable ex) {
         system.err.println("failed to create sessionfactory object." + ex);
         throw new exceptionininitializererror(ex);
      }
      manageemployee me = new manageemployee();

      /* add employee records in batches */
      me.addemployees( );
   }
   /* method to create employee records in batches */
   public void addemployees( ){
      session session = factory.opensession();
      transaction tx = null;
      integer employeeid = null;
      try{
         tx = session.begintransaction();
         for ( int i=0; i<100000; i++ ) {
            string fname = "first name " + i;
            string lname = "last name " + i;
            integer salary = i;
            employee employee = new employee(fname, lname, salary);
            session.save(employee);
            if( i % 50 == 0 ) {
               session.flush();
               session.clear();
            }
         }
         tx.commit();
      }catch (hibernateexception e) {
         if (tx!=null) tx.rollback();
         e.printstacktrace();
      }finally {
         session.close();
      }
      return ;
   }
}

編譯和執行

這里是編譯和運行以上提及的應用程序的步驟。確保你已經在處理編譯和運行前已經正確設置了 path 和 classpath。

• 如上面解釋的那樣創建 hibernate.cfg.xml 配置文件。
• 如上面顯示的那樣創建 employee.hbm.xml 映射文件。
• 如上面顯示的那樣創建 employee.java 源文件并編譯。
• 如上面顯示的那樣創建 manageemployee.java 源文件并編譯。
• 執行 manageemployee 二進制代碼來運行可以在 employee 表單中創建 100000 個記錄的程序。