スキップしてメイン コンテンツに移動

Java: Available Tags for Extracting Metadata Using Apache Commons Imaging

Introduction

In this Java: Read Image Metadata by Java Image IO post, I demonstrated the code snippet for reading image metadata only using standard java imageio library.
The problem is the standard image library cannot read jpeg exif metadata as human readable format (they can be extracted as byte[] data).
In this post, I will show you the code for reading jpeg exif metadata using Apache Commons Imaging library.
In order to run the example code, you should download commons-imaging-1.0-SNAPSHOT.jar from commons-imaging.

Basic of Read Exif Data

Extracting jpeg exif metadata can be done by using findEXIFValue method in JpegImageMetadata class.
The method takes TagInfo as an argument and return back TiffField.
Available TagInfo static fields (constants) are mainly defined in the following class in org.apache.commons.imaging.formats.tiff.constants package:

  • ExifTagConstants
  • TiffTagConstants
  • GpsTagConstants


Available TagInfo in ExifTagConstants, TiffTagConstants, GpsTagConstants

There are a lot of static fields are defined in ExifTagConstants, TiffTagConstants, GpsTagConstants classes.
So first, I wrote small code snippet for printing out all static fields whose type is TagInfo.
The code might be good example for Java 8 lambda and reflection, too.

package com.dulesoftware.image;

import java.lang.reflect.Field;
import java.lang.reflect.Modifier;
import java.util.Arrays;
import java.util.List;
import java.util.stream.Collectors;
import org.apache.commons.imaging.formats.tiff.constants.ExifTagConstants;
import org.apache.commons.imaging.formats.tiff.constants.GpsTagConstants;
import org.apache.commons.imaging.formats.tiff.constants.TiffTagConstants;
import org.apache.commons.imaging.formats.tiff.taginfos.TagInfo;

public class ImageMetaDtaUtils {

    public static void main(String[] args) {
        List<Field> exifTagfields = getTagInfoDefinedInClass(ExifTagConstants.class);
        System.out.printf("Fields defined in %s\n", ExifTagConstants.class.getSimpleName());
        printFieldsName(exifTagfields);
        System.out.println();

        List<Field> tiffTagfields = getTagInfoDefinedInClass(TiffTagConstants.class);
        System.out.printf("Fields defined in %s\n", TiffTagConstants.class.getSimpleName());
        printFieldsName(tiffTagfields);
        System.out.println();

        List<Field> gpsTagfields = getTagInfoDefinedInClass(GpsTagConstants.class);
        System.out.printf("Fields defined in %s\n", GpsTagConstants.class.getSimpleName());
        printFieldsName(gpsTagfields);
        System.out.println();

    }

    private static void printFieldsName(List<Field> fields) {
        for (Field field : fields) {
            System.out.println(field.getName());
        }
    }

    private static List<Field> getTagInfoDefinedInClass(Class<?> clazz) {
        Field[] declaredFields = clazz.getDeclaredFields();
        return Arrays.stream(declaredFields)
                .filter(field
                        -> TagInfo.class.isAssignableFrom(field.getType())
                        && Modifier.isStatic(field.getModifiers())
                )
                .collect(Collectors.toList());
    }
}

The result of above code is below... Surprised a bit quite a lot!
In the next post, I will show you an example code for extracting exif metadata using Following constants!!

Fields defined in ExifTagConstants
EXIF_TAG_INTEROPERABILITY_INDEX
EXIF_TAG_INTEROPERABILITY_VERSION
EXIF_TAG_PROCESSING_SOFTWARE
EXIF_TAG_SOFTWARE
EXIF_TAG_PREVIEW_IMAGE_START_IFD0
EXIF_TAG_PREVIEW_IMAGE_START_SUB_IFD1
EXIF_TAG_JPG_FROM_RAW_START_SUB_IFD2
EXIF_TAG_PREVIEW_IMAGE_LENGTH_IFD0
EXIF_TAG_PREVIEW_IMAGE_LENGTH_SUB_IFD1
EXIF_TAG_JPG_FROM_RAW_LENGTH_SUB_IFD2
EXIF_TAG_PREVIEW_IMAGE_START_MAKER_NOTES
EXIF_TAG_JPG_FROM_RAW_START_SUB_IFD
EXIF_TAG_JPG_FROM_RAW_START_IFD2
EXIF_TAG_OTHER_IMAGE_START
EXIF_TAG_PREVIEW_IMAGE_LENGTH_MAKER_NOTES
EXIF_TAG_JPG_FROM_RAW_LENGTH_SUB_IFD
EXIF_TAG_JPG_FROM_RAW_LENGTH_IFD2
EXIF_TAG_OTHER_IMAGE_LENGTH
EXIF_TAG_APPLICATION_NOTES
EXIF_TAG_MATTEING
EXIF_TAG_DATA_TYPE
EXIF_TAG_IMAGE_DEPTH
EXIF_TAG_TILE_DEPTH
EXIF_TAG_MODEL_2
EXIF_TAG_EXPOSURE_TIME
EXIF_TAG_FNUMBER
EXIF_TAG_IPTC_NAA
EXIF_TAG_INTERGRAPH_PACKET_DATA
EXIF_TAG_INTERGRAPH_FLAG_REGISTERS
EXIF_TAG_SITE
EXIF_TAG_COLOR_SEQUENCE
EXIF_TAG_IT8HEADER
EXIF_TAG_RASTER_PADDING
EXIF_TAG_BITS_PER_RUN_LENGTH
EXIF_TAG_BITS_PER_EXTENDED_RUN_LENGTH
EXIF_TAG_COLOR_TABLE
EXIF_TAG_IMAGE_COLOR_INDICATOR
EXIF_TAG_BACKGROUND_COLOR_INDICATOR
EXIF_TAG_IMAGE_COLOR_VALUE
EXIF_TAG_BACKGROUND_COLOR_VALUE
EXIF_TAG_PIXEL_INTENSITY_RANGE
EXIF_TAG_TRANSPARENCY_INDICATOR
EXIF_TAG_COLOR_CHARACTERIZATION
EXIF_TAG_HCUSAGE
EXIF_TAG_SEMINFO
EXIF_TAG_AFCP_IPTC
EXIF_TAG_LEAF_DATA
EXIF_TAG_PHOTOSHOP_SETTINGS
EXIF_TAG_EXIF_OFFSET
EXIF_TAG_EXPOSURE_PROGRAM
EXIF_TAG_SPECTRAL_SENSITIVITY
EXIF_TAG_GPSINFO
EXIF_TAG_ISO
EXIF_TAG_OPTO_ELECTRIC_CONV_FACTOR
EXIF_TAG_LEAF_SUB_IFD
EXIF_TAG_EXIF_VERSION
EXIF_TAG_DATE_TIME_ORIGINAL
EXIF_TAG_DATE_TIME_DIGITIZED
EXIF_TAG_COMPONENTS_CONFIGURATION
EXIF_TAG_COMPRESSED_BITS_PER_PIXEL
EXIF_TAG_SHUTTER_SPEED_VALUE
EXIF_TAG_APERTURE_VALUE
EXIF_TAG_BRIGHTNESS_VALUE
EXIF_TAG_EXPOSURE_COMPENSATION
EXIF_TAG_MAX_APERTURE_VALUE
EXIF_TAG_SUBJECT_DISTANCE
EXIF_TAG_METERING_MODE
EXIF_TAG_LIGHT_SOURCE
EXIF_TAG_FLASH
EXIF_TAG_FOCAL_LENGTH
EXIF_TAG_SUBJECT_AREA
EXIF_TAG_STO_NITS
EXIF_TAG_MAKER_NOTE
EXIF_TAG_USER_COMMENT
EXIF_TAG_SUB_SEC_TIME
EXIF_TAG_SUB_SEC_TIME_ORIGINAL
EXIF_TAG_SUB_SEC_TIME_DIGITIZED
EXIF_TAG_FLASHPIX_VERSION
EXIF_TAG_EXIF_IMAGE_WIDTH
EXIF_TAG_EXIF_IMAGE_LENGTH
EXIF_TAG_RELATED_SOUND_FILE
EXIF_TAG_INTEROP_OFFSET
EXIF_TAG_FLASH_ENERGY_EXIF_IFD
EXIF_TAG_SPATIAL_FREQUENCY_RESPONSE_2
EXIF_TAG_NOISE_2
EXIF_TAG_FOCAL_PLANE_XRESOLUTION_EXIF_IFD
EXIF_TAG_FOCAL_PLANE_YRESOLUTION_EXIF_IFD
EXIF_TAG_FOCAL_PLANE_RESOLUTION_UNIT_EXIF_IFD
EXIF_TAG_IMAGE_NUMBER
EXIF_TAG_SECURITY_CLASSIFICATION
EXIF_TAG_IMAGE_HISTORY
EXIF_TAG_SUBJECT_LOCATION
EXIF_TAG_EXPOSURE_INDEX_EXIF_IFD
EXIF_TAG_TIFF_EPSTANDARD_ID_2
EXIF_TAG_SENSING_METHOD_EXIF_IFD
EXIF_TAG_FILE_SOURCE
EXIF_TAG_SCENE_TYPE
EXIF_TAG_CFAPATTERN
EXIF_TAG_CUSTOM_RENDERED
EXIF_TAG_EXPOSURE_MODE
EXIF_TAG_WHITE_BALANCE_1
EXIF_TAG_DIGITAL_ZOOM_RATIO
EXIF_TAG_FOCAL_LENGTH_IN_35MM_FORMAT
EXIF_TAG_SCENE_CAPTURE_TYPE
EXIF_TAG_GAIN_CONTROL
EXIF_TAG_CONTRAST_1
EXIF_TAG_SATURATION_1
EXIF_TAG_SHARPNESS_1
EXIF_TAG_DEVICE_SETTING_DESCRIPTION
EXIF_TAG_SUBJECT_DISTANCE_RANGE
EXIF_TAG_IMAGE_UNIQUE_ID
EXIF_TAG_GAMMA
EXIF_TAG_ANNOTATIONS
EXIF_TAG_PRINT_IM
EXIF_TAG_OFFSET_SCHEMA
EXIF_TAG_OWNER_NAME
EXIF_TAG_SERIAL_NUMBER
EXIF_TAG_LENS
EXIF_TAG_RAW_FILE
EXIF_TAG_CONVERTER
EXIF_TAG_WHITE_BALANCE_2
EXIF_TAG_EXPOSURE
EXIF_TAG_SHADOWS
EXIF_TAG_BRIGHTNESS
EXIF_TAG_CONTRAST_2
EXIF_TAG_SATURATION_2
EXIF_TAG_SHARPNESS_2
EXIF_TAG_SMOOTHNESS
EXIF_TAG_MOIRE_FILTER

Fields defined in TiffTagConstants
TIFF_TAG_NEW_SUBFILE_TYPE
TIFF_TAG_SUBFILE_TYPE
TIFF_TAG_IMAGE_WIDTH
TIFF_TAG_IMAGE_LENGTH
TIFF_TAG_BITS_PER_SAMPLE
TIFF_TAG_COMPRESSION
TIFF_TAG_PHOTOMETRIC_INTERPRETATION
TIFF_TAG_THRESHHOLDING
TIFF_TAG_CELL_WIDTH
TIFF_TAG_CELL_LENGTH
TIFF_TAG_FILL_ORDER
TIFF_TAG_DOCUMENT_NAME
TIFF_TAG_IMAGE_DESCRIPTION
TIFF_TAG_MAKE
TIFF_TAG_MODEL
TIFF_TAG_STRIP_OFFSETS
TIFF_TAG_ORIENTATION
TIFF_TAG_SAMPLES_PER_PIXEL
TIFF_TAG_ROWS_PER_STRIP
TIFF_TAG_STRIP_BYTE_COUNTS
TIFF_TAG_MIN_SAMPLE_VALUE
TIFF_TAG_MAX_SAMPLE_VALUE
TIFF_TAG_XRESOLUTION
TIFF_TAG_YRESOLUTION
TIFF_TAG_PLANAR_CONFIGURATION
TIFF_TAG_PAGE_NAME
TIFF_TAG_XPOSITION
TIFF_TAG_YPOSITION
TIFF_TAG_FREE_OFFSETS
TIFF_TAG_FREE_BYTE_COUNTS
TIFF_TAG_GRAY_RESPONSE_UNIT
TIFF_TAG_GRAY_RESPONSE_CURVE
TIFF_TAG_T4_OPTIONS
TIFF_TAG_T6_OPTIONS
TIFF_TAG_RESOLUTION_UNIT
TIFF_TAG_PAGE_NUMBER
TIFF_TAG_TRANSFER_FUNCTION
TIFF_TAG_SOFTWARE
TIFF_TAG_DATE_TIME
TIFF_TAG_ARTIST
TIFF_TAG_HOST_COMPUTER
TIFF_TAG_PREDICTOR
TIFF_TAG_WHITE_POINT
TIFF_TAG_PRIMARY_CHROMATICITIES
TIFF_TAG_COLOR_MAP
TIFF_TAG_HALFTONE_HINTS
TIFF_TAG_TILE_WIDTH
TIFF_TAG_TILE_LENGTH
TIFF_TAG_TILE_OFFSETS
TIFF_TAG_TILE_BYTE_COUNTS
TIFF_TAG_INK_SET
TIFF_TAG_INK_NAMES
TIFF_TAG_NUMBER_OF_INKS
TIFF_TAG_DOT_RANGE
TIFF_TAG_TARGET_PRINTER
TIFF_TAG_EXTRA_SAMPLES
TIFF_TAG_SAMPLE_FORMAT
TIFF_TAG_SMIN_SAMPLE_VALUE
TIFF_TAG_SMAX_SAMPLE_VALUE
TIFF_TAG_TRANSFER_RANGE
TIFF_TAG_JPEG_PROC
TIFF_TAG_JPEG_INTERCHANGE_FORMAT
TIFF_TAG_JPEG_INTERCHANGE_FORMAT_LENGTH
TIFF_TAG_JPEG_RESTART_INTERVAL
TIFF_TAG_JPEG_LOSSLESS_PREDICTORS
TIFF_TAG_JPEG_POINT_TRANSFORMS
TIFF_TAG_JPEG_QTABLES
TIFF_TAG_JPEG_DCTABLES
TIFF_TAG_JPEG_ACTABLES
TIFF_TAG_YCBCR_COEFFICIENTS
TIFF_TAG_YCBCR_SUB_SAMPLING
TIFF_TAG_YCBCR_POSITIONING
TIFF_TAG_REFERENCE_BLACK_WHITE
TIFF_TAG_COPYRIGHT
TIFF_TAG_XMP
TIFF_TAG_UNKNOWN

Fields defined in GpsTagConstants
GPS_TAG_GPS_VERSION_ID
GPS_TAG_GPS_LATITUDE_REF
GPS_TAG_GPS_LATITUDE
GPS_TAG_GPS_LONGITUDE_REF
GPS_TAG_GPS_LONGITUDE
GPS_TAG_GPS_ALTITUDE_REF
GPS_TAG_GPS_ALTITUDE
GPS_TAG_GPS_TIME_STAMP
GPS_TAG_GPS_SATELLITES
GPS_TAG_GPS_STATUS
GPS_TAG_GPS_MEASURE_MODE
GPS_TAG_GPS_DOP
GPS_TAG_GPS_SPEED_REF
GPS_TAG_GPS_SPEED
GPS_TAG_GPS_TRACK_REF
GPS_TAG_GPS_TRACK
GPS_TAG_GPS_IMG_DIRECTION_REF
GPS_TAG_GPS_IMG_DIRECTION
GPS_TAG_GPS_MAP_DATUM
GPS_TAG_GPS_DEST_LATITUDE_REF
GPS_TAG_GPS_DEST_LATITUDE
GPS_TAG_GPS_DEST_LONGITUDE_REF
GPS_TAG_GPS_DEST_LONGITUDE
GPS_TAG_GPS_DEST_BEARING_REF
GPS_TAG_GPS_DEST_BEARING
GPS_TAG_GPS_DEST_DISTANCE_REF
GPS_TAG_GPS_DEST_DISTANCE
GPS_TAG_GPS_PROCESSING_METHOD
GPS_TAG_GPS_AREA_INFORMATION
GPS_TAG_GPS_DATE_STAMP
GPS_TAG_GPS_DIFFERENTIAL

コメント

Xplore IT Corp さんの投稿…
Hey Nice Blog!! Thanks For Sharing!!!Wonderful blog & good post.Its really helpful for me, waiting for a more new post. Keep Blogging!
best java training in coimbatore
php training in coimbatore
best php training institutes in coimbatore

このブログの人気の投稿

Eclipseでコードカバレッジのハイライトを削除する方法

Eclipseには便利なコードカバレッジ表示機能が搭載されていますが、コード内に緑、赤、黄の色付けがされて煩く感じるときもあると思います。 1度カバレッジの色付けが出てしまった後に消す方法の紹介です(方法は簡単)。 下記のキャプチャの青いマーカーで示した「Remove All Sessions」のボタンを押せばすべて消えます。

「特定の文字から始まらない文字列」にマッチする正規表現

「特定の文字から始まらない文字列」 にマッチする正規表現の例です。  以下の例では、Aから始まらない文字列にマッチする正規表現を示しています。 ^(?!A).*$ 私も正規表現の組み方で四苦八苦することがあります。以下の書籍は実践的に様々な正規表現のパターンを例示してくれているので、重宝しています。

ダイソーで買った200円のドライバーセットでHDDを分解

HDDの処分 最近は個人情報の問題もあって、HDDを処分する前にちゃんとデータの消去を気にすることも多くなってきました。消去方法としては大きく分けて下記の3つがあります。 データ消去ソフトでフォーマット HDD内部のプラッタを物理破壊 データ消去を行ってくれる専門の業者や家電量販店(Sofmapやビックカメラで実施していると思います。費用発生。)に持ち込み。 データ消去ソフトでのフォーマットは簡単ですが、欠点として「フォーマットに時間がかかる」「セクタ破損などで中途半端に壊れたディスクのフォーマットができない」などがあります。 またHDD内部のプラッタの物理破壊については、HDDを分解するために、通常のプラスやマイナスドライバーではなく、星形ネジに対応したトルクスドライバーが必要とのこともあって、少し面倒です。 筆者は今回、今後もHDDの廃棄をするだろうなあと思い、思い切って自分で分解して廃棄することにチャレンジしてみました。(家電量販店に持って行くよりも安くできないかというどケチ丸出しですw) HDDの星形ネジ こんなやつです。ちなみに写真はSeagateのST2000DL003というHDDで撮影しました。 トルクスドライバー というわけで、分解のために Amazonでトルクスドライバー を探しました。 調べると T8のもだと使えそう とのことで、いろいろと物色。 セットのものとか T8一本で立派なやつとか 色々あったのですが、HDD壊すだけで800円かぁ(←どケチ)、と思って購入を躊躇。 ネット上で調べると100円ショップのダイソーでも、トルクスドライバーを販売しているとの情報をキャッチ!近所のダイソーに行って、探したところ星形のヘッド交換に対応した精密ドライバーセットがありました。 プラスが10種類、マイナスが8種類、六角が6種類、星形が6種類(今回ほしかったもの)のセットで、何とお値段税抜き200円!、税抜き200円!と安かったので、ダメもとで購入しました。 結論から言うと 買って大正解 でした。 ダイソーの精密ドライバーセット こんな商品です! 星形対応のヘッドを装着するとこんな感じ。ドライバーのグリップもゴムで滑らない様になっていて使いやす...

SQLで特定の文字を組み合わせたランダムな文字列を生成

簡易的な方法として「指定した文字列からランダムに1文字選ぶ」を必要な文字の長さ分concat関数でつなげれば実現できます。 1文字ずつ文字を選ぶので、あまり性能もよくない上、セキュリティ的な観点からのランダム性も担保されていないので、あくまで開発中に必要になった時に使う程度が無難だと思います。 下記に英数字大文字小文字を含んだランダムな3文字の文字列を生成するクエリを示します。 # RAND関数で指定した文字列からランダムに1文字選択。 # 下記の例の62の部分はa~z、A~Z、1~9の文字数の合計値を入れた結果 SELECT CONCAT( SUBSTRING('abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ123456789', FLOOR(RAND() * 62 + 1), 1), SUBSTRING('abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ123456789', FLOOR(RAND() * 62 + 1), 1), SUBSTRING('abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ123456789', FLOOR(RAND() * 62 + 1), 1) ) AS random_string;

PHPの配列(array)のメモリ使用量の考察

はじめに 最近PHP上に大量のデータをメモリ上に展開していたのですが、配列(array)の形式(連想配列 or 単純な配列)や配列の要素のデータ構造(数字、配列、文字列など)で大きくメモリ使用量に差が出てくることに気づき、簡単なプログラムを組んで調べてみました。 あくまで筆者の環境での結果なので、細かい数値は参考程度に見てください。 測定環境と方法 OS: Windows 10 PHP 7.4.5 (php-7.4.5-nts-Win32-vc15-x64) 配列に要素を追加するプログラムを書いて、PHPのmemory_get_usage(true)関数を使って実メモリ使用量を計測しました。 計測結果 No. 方式 1MB当たり作成できる 要素数 プログラム 補足 1 キーも値も整数の配列 (整数IDを想定) 28571 // 2,000,000 / 70MB $row = []; for($i = 0; $i < 2000000; $i++) { $row[] = $i; } No.2~6でテストしたプログラム中の要素数は200,000。これだけ一桁多い! 2 キーが文字列、値が整数の連想配列 8333 // 200,000 / 24MB $row = []; for($i = 0; $i < 200000; $i++) { $row[$i.'_key_string'] = $i; } キーの文字列が長い方がメモリ使用量多くなる。 3 キーが整数、値が連想配列の配列 DBから取得してきたデータを想定 2325 // 200,000 / 86MB $row = []; for($i = 0; $i < 200000; $i++) { row[] = ['id' => $i]; } 4 キーが整数、値が連想配列の配列(配列に複数の値を保持) DBから取得してきたデータを想定 2127 // 200,000 /...

ADODB.streamオブジェクトを使って文字列とByte配列を相互変換(Excel VBA)

ADODB.streamオブジェクトを使って文字列をByte配列に変換するコードのサンプルです。 ExcelVBAでADODB.streamを使う際には、 1. ExcelのMicrosoft Visual Basic エディタのメニューバーから「ツール->参照設定」とたどる。 2. 表示されたダイアログからMicrosoft ActiveX Data Objectsにチェックを入れる。 という手順が必要です。 文字列からByte配列へ Private Function ADOS_EncodeStringToByte(ByVal cset As String, ByRef strUni As String) As Byte() On Error GoTo e Dim objStm As ADODB.stream: Set objStm = New ADODB.stream objStm.Mode = adModeReadWrite objStm.Open objStm.Type = adTypeText objStm.Charset = cset objStm.WriteText strUni objStm.Position = 0 objStm.Type = adTypeBinary Select Case UCase(cset) Case "UNICODE", "UTF-16" objStm.Position = 2 Case "UTF-8" objStm.Position = 3 End Select ADOS_EncodeStringToByte = objStm.Read() objStm.Close Set objStm = Nothing Exit Function e: Debug.Print "Error occurred while encoding characters" & Err.Description If objStm Is No...

MySQL: SELECTの結果をUNIONして ORDER BYする際の最適化方法

SELECTの結果をUNIONして ORDER BY する際には下記の点に注意する必要があります。 無駄なメモリ消費 ソートにINDEXが利かない (≒CPU負荷増大) 対応策 可能であればPush-down Condition (各サブクエリ内でORDER BY, LIMIT, OFFSETを適用してからUNION, ORDER BYを実行する)を利用することで、 パフォーマンスを改善できる場合があります。 下記に例を示します。 もともとのクエリ SELECT tmp.* FROM ( SELECT tableA.column1, tableA.column2 FROM tableA WHERE (条件) UNION ALL SELECT tableB.column1, tableB.column2 FROM tableB WHERE (条件) ) AS tmp ORDER BY tmp.column1, tmp.column2 LIMIT 100, 20 Push-down Conditionを用いて書き直したクエリ SELECT tmp.* FROM ( SELECT tableA.column1, tableA.column2 FROM tableA WHERE (条件) ORDER BY tableA.column1, tableA.column2 LIMIT 30 # ただしこのPush-down Conditionの手法も下記の場合は、効果が半減しますので注意が必要です。 OFFSETの値が大きい場合は、結局全結果セットUNIONと変わらない サブクエリ内のソートで、INDEXが効かない場合

Visual Studio 2010 SP1のアンインストール

Visual Studio 2013に乗り換えるためにVisual Studio 2010をアンインストールしようとしたところで問題発生。。。 先にVisual Studio 2010本体をアンインストールした後、Visual Studio 2010 SP1をアンインストールできなくて困っていました。 Google先生で調べたところ、以下の情報が見つかり、書かれていた通り実施したところ無事Visual Studio 2010 SP1のアンインストールに成功しました。 How to uninstall/remove Visual Studio SP1 アンインストール手順は以下の通りです。 http://www.microsoft.com/en-gb/download/details.aspx?id=23691 からMicrosoft Visual Studio 2010 Service Pack 1 (Installer)をダウンロード VS10sp1-KB983509.exeというファイル名でダウンロードされる(はず)。 コマンドプロンプトから以下のコマンドを実行 (以下の例は、c:\tempにVS10sp1-KB983509.exeがある場合) c:\temp\VS10sp1-KB983509.exe /uninstall /force ダイアログが立ち上がるので、アンインストールを選択して次へ進めばOK!

PHPでファイルを指定した行数ごとに分割

ファイルを指定した行数ごとに分割するためには、Linuxのsplitコマンドを使えば簡単に実現できます。 PHPではexec関数にsplitコマンドを渡して実行すればよいですが、下記の弱点があります。 Linuxのコマンドに依存 (PHPの場合はほとんどLinux環境で動作させることが普通なのでそこまで問題にならないかも知れません)。 exec関数は慎重に引数を渡さないと、OSコマンドインジェクション脆弱性を引き起こす可能性がある。 そこで、今回はPHPでファイルを指定した行数ごとに分割するプログラムを書いてみました。 <?php class FileSplitter { private $lines; private $fileCount; public function split($filePath, $linesPerFile, $outputDir) { $this->fileCount = 0; $this->lines = null; $file = new \SplFileObject($filePath); $lineCount = 0; try{ while (!$file->eof()) { if($lineCount % $linesPerFile === 0) { $this->writeToFile($this->generateOutputFilePath($outputDir, $file)); } $this->lines[] = $file->fgets(); $lineCount++; } $this->writeToFile($this->generateOutpu...

MySQLのSQL_CALC_FOUND_ROWS使用上の注意

MySQLのSQL_CALC_FOUND_ROWSを使用する際の無駄なメモリ消費に注意 ページング機能の実装などのために、ヒットした全件数を取得する必要のある場合があるかと思います。 その場合、下記のようにSQL_CALC_FOUND_ROWSを使うと、検索結果に加えて、そのクエリの全ヒット件数が取得できます。 SELECT SQL_CALC_FOUND_ROWS table.column1, table.column2 ...(途中省略)... FROM table WHERE (条件) しかし、SQL_CALC_FOUND_ROWSを使うと、「絞り込んだ結果にヒットする全べての行の結果のセットを作成する」という大きな欠点があります。 これは、LIMIT, OFFSETを指定していても実行されてしまうので、 SELECTで指定するカラム数やデータ量が多い SELECTの結果返ってくる行数が多い 場合、無駄に領域(≒メモリ)を消費してしまうので注意が必要です。 例えば、100万行検索対象としてヒットするクエリの場合、仮にLIMIT 20と指定して最初の20行を取得するようにクエリを書いても、その100万行分の結果セットが作成されてしまうということになります。 対応策 根本的な対応策としては、SQL_CALC_FOUND_ROWSを使わない(結果行数の取得はCOUNTを用いた別クエリで取得する、結果行数をあらかじめサマリーテーブルに保持しておく)ことですが、 SQL_CALC_FOUND_ROWSをどうしても使う必要がある場合は、 SELECT SQL_CALC_FOUND_ROWS primary_id のように最低限のカラムを指定して結果行セットを取得 (LIMIT OFFSET指定前提) 取得したprimary_idを使って必要なデータを取得 して、SQL_CALC_FOUND_ROWSで使用する領域をできるだけ減らすことで、対応するしかないと思います。 世の中ではLIMIT, OFFSETは使わない方がよいとよく書かれていますが、 SQL_CALC_FOUND_ROWSは、書いてしまえばどんなときも検索にヒットする全結果行セットを作成するので、同じくらい使用する際には注意が必要です。