Big Sky :: DBD::SQLiteで正規表現SQLを使う

2009/04/16

DBD::SQLiteで正規表現SQLを使う

SQLite便利！

SQLite3におけるREGEXP演算子 - anon_193の日記

SQLite では、load_extension 関数を用いて、外部の拡張モジュールをロードすることが出来る。拡張モジュールは、いわばユーザ関数ライブラリで、SQLite3 ODBC Driver には標準で BLOB二次元マッピング拡張(sqlite3_mod_blobtoxy.dll)、外部データ取込・出力拡張(sqlite3_mod_impexp.dll)、全文検索拡張(sqlite3_mod_fts3.dll) が付属している。これらと同様にして、正規表現マッチングを行う regexp ユーザ関数を持つ拡張モジュールを制作し、ロードすれば、お目当ての REGEXP 演算子が使えるわけだ。
http://d.hatena.ne.jp/anon_193/20090114/1231935112

sqlite3_mod_regexp.cxx


#include <boost/regex.hpp>

#include <sqlite3ext.h>

extern "C" {

    SQLITE_EXTENSION_INIT1

    static void regexp_func(sqlite3_context *context, int argc, sqlite3_value **argv) {

        if (argc >= 2) {

            const char *target  = (const char *)sqlite3_value_text(argv[1]);

            const char *pattern = (const char *)sqlite3_value_text(argv[0]);

            try {

                boost::regex ereg(pattern, boost::regex_constants::perl);

                sqlite3_result_int(context, boost::regex_search(target, ereg));

            } catch (boost::regex_error &e) {

                sqlite3_result_error(context, e.what(), 0);

            }

        }

    }

    __declspec(dllexport) int sqlite3_extension_init(sqlite3 *db, char **errmsg, const sqlite3_api_routines *api) {

        SQLITE_EXTENSION_INIT2(api);

        return sqlite3_create_function(db, "regexp", 2, SQLITE_UTF8, (void*)db, regexp_func, NULL, NULL);

    }

}

VCでコンパイルしました。


# cl /EHsc -Isrc -I. -I "c:\boost_1_35_0" sqlite3_mod_regexp.cxx /LD "C:\boost_1_35_0\libs\regex\build\vc80\libboost_regex-vc80-mt-s-1_35.lib"

サンプルデータ
foo.sql


CREATE TABLE foo(id integer primary key, value text);

INSERT INTO "foo" VALUES(1,'abc');

INSERT INTO "foo" VALUES(2,'def');

INSERT INTO "foo" VALUES(3,'あいうえお');

INSERT INTO "foo" VALUES(4,'かきくけこ');

INSERT INTO "foo" VALUES(5,'さしすせそ');

utf-8で保存して下さい


# cat foo.sql | sqlite3 foo.db

そしてPerlのコード


use strict;

use warnings;

use utf8;

use YAML;

use DBIx::Simple;



my $db = DBIx::Simple->connect("dbi:SQLite:dbname=c:/foo.db", "", "")

    or die DBIx::Simple->error;



$db->func(1, "enable_load_extension");



my $result = $db->query("select load_extension('/sqlite3_mod_regexp.dll')")

    or die DBIx::Simple->error;

warn Dump $db->query("select * from foo where value regexp '^[あか]'")->hashes;

dbのパスとdllのパスは指定して下さい
実行すると...


---

id: 3

value: あいうえお

---

id: 4

value: かきくけこ

スゲーーーー便利！

Posted at 11:10 | WriteBacks () | Edit

Edit this entry...

wikieditish message: Ready to edit this entry.

New Name:

Title:

Body:

meta-tags: perl, sqlite, windows
meta-creation_date: 2009-04-16T11:10:22+09:00

SQLite便利！
<blockquote class="quote">
<a href="http://d.hatena.ne.jp/anon_193/20090114/1231935112" class="external" target="_blank" rel="noopener noreferrer">SQLite3におけるREGEXP演算子 - anon_193の日記</a> 
SQLite では、load_extension 関数を用いて、外部の拡張モジュールをロードすることが出来る。拡張モジュールは、いわばユーザ関数ライブラリで、SQLite3 ODBC Driver には標準で BLOB二次元マッピング拡張(sqlite3_mod_blobtoxy.dll)、外部データ取込・出力拡張(sqlite3_mod_impexp.dll)、全文検索拡張(sqlite3_mod_fts3.dll) が付属している。これらと同様にして、正規表現マッチングを行う regexp ユーザ関数を持つ拡張モジュールを制作し、ロードすれば、お目当ての REGEXP 演算子が使えるわけだ。
<cite>http://d.hatena.ne.jp/anon_193/20090114/1231935112</cite>
</blockquote>

sqlite3_mod_regexp.cxx 
<code class="code">
#include &lt;boost/regex.hpp&gt; 
#include &lt;sqlite3ext.h&gt; 
extern&nbsp;&quot;C&quot;&nbsp;{ 
&nbsp;&nbsp;&nbsp;&nbsp;SQLITE_EXTENSION_INIT1 
&nbsp;&nbsp;&nbsp;&nbsp;static&nbsp;void&nbsp;regexp_func(sqlite3_context *context, int&nbsp;argc, sqlite3_value **argv) { 
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(argc &gt;= 2) { 
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;const&nbsp;char&nbsp;*target&nbsp;&nbsp;= (const&nbsp;char&nbsp;*)sqlite3_value_text(argv[1]); 
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;const&nbsp;char&nbsp;*pattern = (const&nbsp;char&nbsp;*)sqlite3_value_text(argv[0]); 
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;try&nbsp;{ 
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;boost::regex ereg(pattern, boost::regex_constants::perl); 
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;sqlite3_result_int(context, boost::regex_search(target, ereg)); 
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} catch&nbsp;(boost::regex_error &amp;e) { 
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;sqlite3_result_error(context, e.what(), 0); 
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} 
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;} 
&nbsp;&nbsp;&nbsp;&nbsp;} 
&nbsp;&nbsp;&nbsp;&nbsp;__declspec(dllexport) int&nbsp;sqlite3_extension_init(sqlite3 *db, char&nbsp;**errmsg, const&nbsp;sqlite3_api_routines *api) { 
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;SQLITE_EXTENSION_INIT2(api); 
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;return&nbsp;sqlite3_create_function(db, &quot;regexp&quot;, 2, SQLITE_UTF8, (void*)db, regexp_func, NULL, NULL); 
&nbsp;&nbsp;&nbsp;&nbsp;} 
} 
</code>
VCでコンパイルしました。 
<code class="code">
# cl /EHsc -Isrc -I. -I &quot;c:\boost_1_35_0&quot; sqlite3_mod_regexp.cxx /LD &quot;C:\boost_1_35_0\libs\regex\build\vc80\libboost_regex-vc80-mt-s-1_35.lib&quot; 
</code>
サンプルデータ 
foo.sql 
<code class="code">
CREATE&nbsp;TABLE&nbsp;foo(id integer&nbsp;primary key, value text); 
INSERT&nbsp;INTO&nbsp;&quot;foo&quot;&nbsp;VALUES(1,'abc'); 
INSERT&nbsp;INTO&nbsp;&quot;foo&quot;&nbsp;VALUES(2,'def'); 
INSERT&nbsp;INTO&nbsp;&quot;foo&quot;&nbsp;VALUES(3,'あいうえお'); 
INSERT&nbsp;INTO&nbsp;&quot;foo&quot;&nbsp;VALUES(4,'かきくけこ'); 
INSERT&nbsp;INTO&nbsp;&quot;foo&quot;&nbsp;VALUES(5,'さしすせそ'); 
</code>
utf-8で保存して下さい 
<code class="code">
# cat foo.sql | sqlite3 foo.db 
</code>
そしてPerlのコード 
<code class="code">
use strict; 
use warnings; 
use utf8; 
use YAML; 
use DBIx::Simple; 
 
my&nbsp;$db&nbsp;= DBIx::Simple-&gt;connect(&quot;dbi:SQLite:dbname=c:/foo.db&quot;, &quot;&quot;, &quot;&quot;) 
&nbsp;&nbsp;&nbsp;&nbsp;or&nbsp;die&nbsp;DBIx::Simple-&gt;error; 
 
$db-&gt;func(1, &quot;enable_load_extension&quot;); 
 
my&nbsp;$result&nbsp;= $db-&gt;query(&quot;select load_extension('/sqlite3_mod_regexp.dll')&quot;) 
&nbsp;&nbsp;&nbsp;&nbsp;or&nbsp;die&nbsp;DBIx::Simple-&gt;error; 
warn&nbsp;Dump $db-&gt;query(&quot;select * from foo where value regexp '^[あか]'&quot;)-&gt;hashes; 
</code>
dbのパスとdllのパスは指定して下さい 
実行すると... 
<code class="code">
--- 
id: 3 
value: あいうえお 
--- 
id: 4 
value: かきくけこ 
</code>
スゲーーーー便利！

Excerpt:

SQLite便利！SQLite3におけるREGEXP演算子 - anon_193の日記SQLite では、load_extension 関数を用いて、外部の拡張モジュールをロードすることが出来る。拡張モジュールは、いわばユーザ関数ライブラリで、SQLite3 ODBC Driver には標準で BLOB二次元マッピング拡張(sqlite3_mod_blobtoxy.dll)、外部データ取込・出力拡張(sqlite3_mod_impexp.dll)、全文検索拡張(sqlite3_mod_fts3.dll) が付属している。これらと同様にして、正規表現マッチングを行う regexp ユーザ関数を持つ拡張モジュールを制作し、ロードすれば、お目当ての REGEXP 演算子が使えるわけだ。http://d.hatena.ne.jp/anon_193/20090114/1231935112sqlite3_mod_regexp.cxx#include <boost/regex.hpp>#include <sqlite3ext.h>extern "C" {    SQLITE_EXTENSION_INIT1    static void regexp_func(sqlite3_context *context, int argc, sqlite3_value **argv) {        if (argc >= 2) {            const char *target  = (const char *)sqlite3_value_text(argv[1]);            const char *pattern = (const char *)sqlite3_value_text(argv[0]);            try {                boost::regex ereg(pattern, boost::regex_constants::perl);                sqlite3_result_int(context, boost::regex_search(target, ereg));            } catch (boost::regex_error &e) {                sqlite3_result_error(context, e.what(), 0);            }        }    }    __declspec(dllexport) int sqlite3_extension_init(sqlite3 *db, char **errmsg, const sqlite3_api_routines *api) {        SQLITE_EXTENSION_INIT2(api);        return sqlite3_create_function(db, "regexp", 2, SQLITE_UTF8, (void*)db, regexp_func, NULL, NULL);    }}VCでコンパイルしました。# cl /EHsc -Isrc -I. -I "c:\boost_1_35_0" sqlite3_mod_regexp.cxx /LD "C:\boost_1_35_0\libs\regex\build\vc80\libboost_regex-vc80-mt-s-1_35.lib" サンプルデータfoo.sqlCREATE TABLE foo(id integer primary key, value text);INSERT INTO "foo" VALUES(1,'abc');INSERT INTO "foo" VALUES(2,'def');INSERT INTO "foo" VALUES(3,'あいうえお');INSERT INTO "foo" VALUES(4,'かきくけこ');INSERT INTO "foo" VALUES(5,'さしすせそ');utf-8で保存して下さい# cat foo.sql | sqlite3 foo.dbそしてPerlのコードuse strict;use warnings;use utf8;use YAML;use DBIx::Simple;my $db = DBIx::Simple->connect("dbi:SQLite:dbname=c:/foo.db", "", "")    or die DBIx::Simple->error;$db->func(1, "enable_load_extension");my $result = $db->query("select load_extension('/sqlite3_mod_regexp.dll')")    or die DBIx::Simple->error;warn Dump $db->query("select * from foo where value regexp '^[あか]'")->hashes;dbのパスとdllのパスは指定して下さい実行すると...---id: 3value: あいうえお---id: 4value: かきくけこスゲーーーー便利！

Ping URLs:

File:

Password:

A quick preview will be rendered here when you click "Preview" button.