米国特許情報 | 欧州特許情報 | 国際公開(PCT)情報 | Google の米国特許検索
 
     特許分類
A 農業
B 衣類
C 家具
D 医学
E スポ−ツ;娯楽
F 加工処理操作
G 机上付属具
H 装飾
I 車両
J 包装;運搬
L 化学;冶金
M 繊維;紙;印刷
N 固定構造物
O 機械工学
P 武器
Q 照明
R 測定; 光学
S 写真;映画
T 計算機;電気通信
U 核技術
V 電気素子
W 発電
X 楽器;音響


  ホーム -> 計算機;電気通信 -> ヒューレット・パッカード・カンパニー

発明の名称 管理LANとペイロードLANとを分離したサーバシステム
発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2003−134132(P2003−134132A)
公開日 平成15年5月9日(2003.5.9)
出願番号 特願2002−227471(P2002−227471)
出願日 平成14年8月5日(2002.8.5)
代理人 【識別番号】100063897
【弁理士】
【氏名又は名称】古谷 馨 (外3名)
【テーマコード(参考)】
5K033
【Fターム(参考)】
5K033 AA05 BA04 BA11 BA13 CB06 DB14 DB16 
発明者 セイン・エム・ラーソン / カーク・ブレスニカー
要約 課題
サーバ管理用LANの通信とペイロードLANの通信とを分離した安全なサーバシステムを提供すること。

解決手段
管理LAN通信およびペイロードLAN通信を提供するための複数のホストプロセッサ(300A)を含むcPCIサーバシステム(100)。第1のカード(300C)は、複数のホストプロセッサカードに接続され且つペイロードLAN(303)に接続される。複数のホストプロセッサカードは、第1のカードを通してペイロードLAN通信を提供するように構成される。第2のカード(300E)は、複数のホストプロセッサカードに接続され及び任意で管理LAN(320)に接続することができる。複数のホストプロセッサカードは、第2のカードを通して管理LANとの通信を提供するように構成される。
特許請求の範囲
【請求項1】ペイロードLAN通信から分離された管理LAN通信を提供するための複数のホストプロセッサカード(300A)と、前記複数のホストプロセッサカードに接続され且つペイロードLAN(303)に接続された第1のカードであって、前記複数のホストプロセッサカードが該第1のカードを通してペイロードLAN通信を提供するように構成された、第1のカード(300C)と、前記複数のホストプロセッサカードに接続され且つ管理LAN(320)に接続された第2のカードであって、前記複数のホストプロセッサカードが該第2のカードを通して該管理LANとの管理LAN通信を提供するように構成された、第2のカード(300E)と、からなる、サーバシステム(100)。
発明の詳細な説明
【0001】
【発明の属する技術分野】本発明は、サーバシステムに関する。詳しくは、本発明は、管理LANとペイロードLANとを分離したCompactPCI(cPCI:compact Peripheral Component Interconnect)サーバシステムに関し、インターネット等の安全性の低い環境に頻繁にさらされ、または、送信されるサーバデータトラフィックのために使用するサーバシステムに関する。
【0002】
【従来の技術】コンソール通信(Console Communication)は、サーバシステムにおいてステータス情報、制御情報および構成情報を送受信するために用いられている。コンソール通信は、通常、単一のLANインタフェース(すなわち、コンソール通信とペイロード通信とを接続するLAN)を介して送受信され、あるいは、サーバのRS−232ポートへのケーブルを介して送受信される。
【0003】コンソールLAN(Console LAN)が無い場合、各サーバは、通常、コンソール通信用のRS−232ポートを有する。多数のサーバを制御したい場合、複雑で管理の困難な結線を個々のサーバのRS−232ポートに対して実施しければならない。RS−232ポートを用いてコンソール通信を行うことは、スタンドアロンのサーバについては十分であるが、サーバが他の多くのサーバと一緒に共通シャーシに統合されている場合、各サーバに対して個別のケーブルを用いると、維持および構成が困難になる。何らかの統合化(consolidation)がなされる場合、統合化は、通常、シャーシ外部の別個の装置によって実施される。そのため、大抵の顧客は、これらのケーブルのすべてをRaritan製およびLantronics製のスイッチ等の特別なスイッチに短い距離で接続する。これによって複数のサーバの集合に対して単一のアクセスポートを与えることになるので、ケーブル結線を簡略化することができるが、金額および空間という点では、システムに対してコストがかさむことになる。
【0004】
【発明が解決しようとする課題】単一のLANインタフェースを用いる場合、単一の顧客ペイロードLANにおいて、LANコンソール制御情報とペイロード情報とが混在してしまうというセキュリティホールが存在する。この単一のLANにおける信号の混在によって、権限のないスヌーピングが可能になり、コンソール機器に対する権限の無い通信が行なわれる可能性が生じる。単一LANインタフェースの場合、セキュリティ駆動型(security driven)ソフトウェア層を使用することができるが(追加のコストで)、そのセキュリティ層が危険に晒される可能性がある。
【0005】従って、もっと便利で安全なコンソール通信システムを提供するサーバシステムが必要とされている。
【0006】
【課題を解決するための手段】本発明の一実施形態は、複数のホストプロセッサカードを有し、管理LAN通信およびペイロードLAN通信を提供するサーバシステムを提供する。第1のカードは、複数のホストプロセッサカードに接続され、かつ、ペイロードLANにも接続される。複数のホストプロセッサカードは、第1のカードを通してペイロードLANとの通信を提供するように構成される。第2のカードは、複数のホストプロセッサカードに接続され、かつ、管理LANにも接続される。複数のホストプロセッサカードは、第2のカードを通して管理LANとの管理LAN通信を提供するように構成される。
【0007】
【発明の実施の形態】以下の好ましい実施形態の詳細な説明では、本発明を実施することのできる特定の実施形態を例示した添付の図面を参照する。もちろん、他の実施形態を用いることも可能であり、本発明の範囲から逸脱することなく構造的または論理的変更を行うことができると解釈すべきである。したがって、以下の説明は限定する意味で解釈すべきものではなく、本発明の範囲は、特許請求の範囲によって規定される。
【0008】I.サーバシステム図1は、本発明の一実施形態によるサーバシステム100を示す正面の斜視図である。図2は、サーバシステム100を示す背面の斜視図である。サーバシステム100には、パネル102と、液晶ディスプレイ(LCD)パネル104Aおよび104B(まとめてLCDパネル104と呼ぶ)と、バックプレーン106と、シャーシ108と、二重冗長電源ユニット114Aおよび114B(まとめて電源ユニット114と呼ぶ)とが含まれる。パネル102は、シャーシ108に取り付けられ、サーバシステム100の内部コンポーネントの保護を提供する。バックプレーン106は、サーバシステム100の中央付近に配置される。また、バックプレーン106はミッドプレーン106とも呼ばれる。LCDパネル104Aと104Bとは、サーバシステム100上の位置を除いて実質的に同一のものである。LCDパネル104Aはサーバシステム100の正面に配置され、LCDパネル104Bはサーバシステム100の裏面に配置される。
【0009】電源ユニット114は、サーバシステム100の底部に配置され、サーバシステム100の背面から正面まで延在する。電源ユニット114は、それぞれ関連する冷却ファン304(図3においてブロック形態で示す)を有する。本発明の一実施形態では、追加の冷却ファン304がLCDパネル104Bの後ろにも配置される場合がある。一実施形態において、サーバシステム100は、4個のシャーシ冷却ファン304を使用する。代替の実施形態では、サーバシステム100は、6個のシャーシ冷却ファン304を使用する。冷却ファン304は、他の数および他の配置にすることも可能である。本発明の一実施形態では、「N」が必要なファン304の総数を表し、「1」が予備(冗長)のファン304の数を表すものとすると、冷却ファン304はN+1個の冗長冷却システムを形成する。
【0010】一実施形態では、サーバシステム100は、プリント回路アセンブリ(PCA)のCompactPCI(cPCI)フォームファクタをサポートする。サーバシステム100は、カード/モジュール300(図3にブロック形態で示す)を受け入れる複数のcPCIスロット110を有する。一実施形態では、システム100は、バックプレーン106の各面にそれぞれ10個のスロット110を有する(10スロット構成と呼ぶ)。代替の実施形態では、システム100は、バックプレーン106の各面にそれぞれ19個のスロット110を有する(19スロット構成と呼ぶ)。他のスロット構成を採用した代替の実施形態が他にも考えられる。
【0011】図3は、サーバシステム100の主な構成要素を示すブロック図である。サーバシステム100には、バックプレーン106と、複数のカード/モジュール300A〜300G(まとめてカード300と呼ぶ)と、ファン304と、電気的消去可能プログラム可能リードオンリメモリ(EEPROM)314と、LED322と、LCDパネル104と、電源ユニット(PSU)114と、温度センサ324とが含まれる。カード300は、システム100のスロット110(図1および図2に示す)に挿入される(即ちリムーバブルカードである)。本発明の一実施形態において、カード300は、複数のスロット110を占有する場合がある。一実施形態において、カード300には、ホストプロセッサカード300Aと、ハードディスクカード300Bと、管理型イーサネット(登録商標)スイッチ(managed Ethernet (登録商標)switch)カード300Cおよび300Dと、サーバ管理カード(SMC)300Eと、2個の冗長SMCローカルエリアネットワーク(LAN)リアトランジションモジュール(RTM:Rear Transition Module)300Fおよび300Gとが含まれる。一実施形態において、1つの管理型イーサネットスイッチカード300Cが10スロットシャーシの実施形態に装着され、最大で2つの管理型イーサネットスイッチカード300Cおよび300Dが19スロットシャーシの実施形態に装着される。本発明の一実施形態では、管理型イーサネットスイッチカード300Cおよび300Dは、管理型イーサネットスイッチカード「Procurve」である。
【0012】一実施形態において、サーバシステム100には、2種類のホストプロセッサカード300Aを用いることができ、PA−RISCホストプロセッサカードおよびIA32ホストプロセッサカードを用いることができる。サーバシステム100の実施形態には、複数のホストプロセッサカード300Aと、ハードディスクカード300Bとが使用されるが、図3において図面を簡略化するために、それらは各々、単一のカードで表している。本発明の一実施形態において、10スロット構成には、最大8個のホストプロセッサカード300Aが使用され、19スロット構成には、最大16個のホストプロセッサカード300Aが使用される。一実施形態において、カード300のそれぞれは、ホットスワップさせることができる。
【0013】一実施形態では、カード300のそれぞれは、一対のEEPROM302Aおよび302B(後述)を有する。電源ユニット114のそれぞれは、電源ID(電源識別)およびステータス情報を格納するためのEEPROM323を有する。ファン304は、ファン304の速度を監視するためのセンサ306を有する。一実施形態において、LED322には、8個のステータスLEDと、LANリンク318の速度およびリンク状態を示す6個のLAN LEDと、SMC300Eのホットスワップが可能であることを示す青色のホットスワップステータスLEDと、パワーオンインジケータLEDと、3個のファン制御インジケータLEDとが含まれる。
【0014】システム100の確実な動作を保証するため、SMC300Eによって、カード300およびシステム100の動作状況(health)を監視する。SMC300Eは、シリアルポート310(後述)と、関連するスイッチを備えた引出レバー308とを有する。一実施形態では、すべてのカード300が、関連するスイッチを備えた引出レバー308を有する。
【0015】一実施形態では、SMC300Eは、一般的なCompactPCI(cPCI)カードのサイズであり、PA−RISCホストプロセッサカードおよびIA32ホストプロセッサカード300Aをサポートする。SMC300Eは、バックプレーン106を介してシステム100の他のコンポーネントに電気的に接続する。これらのコンポーネントには、カード300、温度センサ324、電源ユニット114、ファン304、EEPROM314、LCDパネル104、LED322およびSMCリアトランジションモジュール300Fおよび300Gが含まれる。以下でさらに詳細に説明するように、多くの場合、この接続は、ICバス554(図5に示す)を介して行なわれる。ICバス554によって双方向通信が可能になるので、ステータス情報をSMC300Eへ送信するとともに、構成情報をSMC300Eから送信することが可能になる。一実施形態において、SMC300Eは、ICバス554を用いて、電源ユニット114、ホストプロセッサカード300A、および、システム100に装着されたその他のカード300から環境情報を取得する。
【0016】また、SMC300Eは、2つのSMCリアトランジションモジュール300Fおよび300Gのうちの一方を介してコンソール管理LAN信号をホストプロセッサカード300Aから外部管理ネットワーク(管理LANとも呼ぶ)320へ接続するためのLANスイッチ532(図5に示す)も有している。一実施形態では、2つのSMCリアトランジションモジュール300Fおよび300Gは、それぞれ管理LAN320に接続するための外部10/100Base−TLANリンク318を提供する。一実施形態では、SMCリアトランジションモジュール300Fおよび300Gは、ファイバチャネル、ポートバイパスカードである。
【0017】管理型イーサネットスイッチカード300Cおよび300Dは、バックプレーン106を介してホストプロセッサカード300Aに接続され、ホストプロセッサカードを外部顧客またはペイロードLAN303に接続するための外部10/100/1000Base−T LANリンク301を有する。管理型イーサネットスイッチカード300Cおよび300Dは、完全な管理型LANスイッチである。
【0018】II.LCDパネル図4は、LCDパネル104のうちの1つの正面図である。本発明の一実施形態では、各LCDパネル104は、2×20LCDディスプレイ400と、10個の英数字キー402と、5個のメニュー操作/起動キー404A〜404E(まとめて操作キー404と呼ぶ)と、ロックアウトキー406(それを点灯する関連LED(図示せず)を備える)とを有する。ユーザがキー402、404または406を押すと警報信号が生成され、SMC300Eは、LCDパネル104Aおよび104Bをポーリングして、いずれのLCDパネルが使用されたか、および、いずれのキーが押されたかを判定する。
【0019】英数字キー402により、ユーザは、SMC300Eに送信する英数文字列を入力することができる。操作キー404により、ユーザは、LCDディスプレイ400に表示されるメニューを検索し所望のメニュー項目を選択することができる。操作キー404Aおよび404Bは、英数文字列内でそれぞれ左および右に移動するために使用される。操作キー404Cは、「OK/Enter」キーである。操作キー404Dは、下に移動するために使用される。操作キー404Eは「Cancel」キーである。
【0020】LCDパネル104は、テストシェル(後述)に対するアクセスを提供し、システム情報を提供してシステム100の構成を可能にする。また、後述するように、システム100には、テストシェルに対する他のアクセス方法も提供される。2つのLCDパネル104とテストシェルに対する他のアクセス方法と間の競合問題を避けるため、LCDパネル104にはロックアウトキー406が設けられる。ユーザは、ロックアウトキー406を押すことにより、テストシェルの制御を取得または解放することができる。一実施形態では、ロックアウトキー406は、ロックアウトキー406を点灯させ、現在のロックアウト状態を示すLEDを有する。
【0021】一実施形態では、LCDパネル104は、スタートアップ中にLED322によって表示される情報に対して追加の情報も提供する。スタートアップシーケンス中にエラーが発生した場合、LCDパネル104は、オペレータがSMCシリアルポート310のうちの1つに端末を取り付ける必要無しに、エラーに関するさらなる情報を提供する。
【0022】III.サーバ管理カード(SMC)
A.SMC概要図5は、サーバ管理カード(SMC)300Eの主なコンポーネントを示す電気的ブロック図である。SMC300Eは、フラッシュメモリ500と、プロセッサ502と、ダイナミックランダムアクセスメモリ(DRAM)504と、PCIブリッジ506と、フィールドプログラマブルゲートアレイ(FPGA)508と、出力レジスタ510Aおよび510Bと、入力レジスタ512Aおよび512Bと、ファンコントローラ526A〜526C(まとめてファンコントローラ526と呼ぶ)と、ネットワークコントローラ530と、LANスイッチ532と、モデム制御付きUART(万能非同期受信送信機)534と、デュアルUART536と、モデム制御付きUART538と、クロック発生器/ウォッチドッグ540と、電池542と、リアルタイムクロック(RTC)544と、不揮発性ランダムアクセスメモリ(NVRAM(546)と、ICコントローラ548A〜548H(まとめてICコントローラ548と呼ぶ)と、EEPROM550と、温度センサ324とを有する。一実施形態では、SMC300Eのコンポーネントは、PCIバス507を介して互いに接続される。本発明の一実施形態では、PCIバス507は、スロット110間の接続はしない。LAN信号は、LANスイッチ532を通して切り替えられ、スロット110間でルーチングされる。
【0023】SMC300Eの機能には、システム100内の他のコンポーネント(例えば、ファン速度、温度、カードの存在)の動作を監視してそれらの動作状況を中央部(例えば、外部管理ネットワーク320)に報告することと、中央部(例えば、外部管理ネットワーク320)に何らかの障害を報告することと、SMC300Eおよびホストプロセッサカード300Aからのコンソール管理LAN信号を外部管理ネットワーク320に接続するためのLANスイッチ532を提供することと、システム100の初期ブート構成を提供することが含まれる。
【0024】B.SMCプロセッサおよびメモリSMC300Eは、シャーシ管理プロセッサ502を有する。一実施形態では、シャーシ管理プロセッサ502は、SMCプロセッサ502とも呼ばれ、バッファをサポートしているSA−110型StrongARMプロセッサである。一実施形態では、SMC300Eは、Linuxオペレーティングシステムを使用する。また、SMC300Eは、サーバ管理アプリケーション(SMA)ソフトウェア/ファームウェアを実行する。一実施形態では、オペレーティングシステムおよびSMAは、フラッシュメモリ500に格納される。本発明の一実施形態では、SMC300Eに電源を投入してSMC300Eを動作状態にするために必要なすべての情報が、フラッシュメモリ500に格納される。一実施形態では、フラッシュメモリ500は、4〜16メガバイトの記憶空間を有し、SMC300Eをスタンドアロンのカード(すなわち、いかなるネットワーク接続も必要でない)としてブートアップさせることができるようになっている。
【0025】また、SMC300Eは、DRAM504も有する。一実施形態では、DRAM504は、32、64または128メガバイトの記憶空間を有する。本発明の一実施形態では、ハードウェア適合テーブル(hardware fitted table)がDRAM504に格納される。ハードウェア適合テーブルは、システム100の物理的構成を表す情報を含む。ハードウェア適合テーブルは、ハードウェア装置がシステム100に追加されたりシステム100から取り除かれる等、システム100に対して物理的変更があると変更される。ハードウェア適合テーブルは、ハードウェアの型式情報(例えば、装置がIA32/PA−RISC/Disk Carrier/RTM(リアトランジションモジュール)/PSU/LCDパネル/モデム/未知の装置等のうちいずれのものであるか)と、ハードウェアのリビジョン番号およびシリアル番号と、ステータス情報と、構成情報と、ホットスワップステータス情報とを含む。
【0026】プロセッサ502は、FPGA508に接続される。FPGA508は、6セットの入出力ライン522A〜522Fを有する。ライン522Aは、SMC300Eを構成するためのジャンパに接続される。ライン522Bは、カード300のホットスワップステータスを監視するためのホットスワップラインである。一実施形態では、ホットスワップライン522Bは、18本のホットスワップステータス入力ラインを含み、それらにより、SMC300Eは、ホストプロセッサカード300Aと、ハードディスクカード300Bと、管理型イーサネットスイッチカード300Cおよび300Dと、SMCリアトランジションモジュール300Fおよび300Gと、電源ユニット114とのホットスワップステータスを判定することができる。ライン522CはLEDラインであり、LED322に接続されている。ライン522Dはファン入力ラインであり、ファン304の速度を監視するため、ファンセンサ306に接続されている。ライン522Eは電源ステータスラインであり、電源ユニット114が両方とも存在するか片方しか存在しないかを判定するため、電源ユニット114に接続されている。ライン522Fは、SMBICバス554B、554Dおよび554Fに関する警報信号を伝達するためのSMB警報ラインである。
【0027】C.クロック、電池およびNVRAMSMC300Eは、リアルタイムクロック(RTC)544と該クロックを保持するための電池542とを有する。リアルタイムクロック544は、正しい時刻を提供する。また、SMC300Eは、クロック情報を格納するNVRAM546も有する。一実施形態では、NVRAM546は、リアルタイムクロック544と同じ電池を使用する。
【0028】D.LANスイッチSMC300Eは、PCIブリッジ506およびコントローラ530を介してLANスイッチ532との間で管理LAN通信を送受信する。一実施形態では、LANスイッチ532は19個のポートを有する非管理型LANスイッチであり、そのうち2個のポートが外部管理ネットワーク320(図3に示す)と通信するためにリンク531Aを介してSMCリアトランジションモジュール300Fおよび300G(図3に示す)に接続され、16個のポートがリンク531Bを介しバックプレーン106を通して最大16個までのホストプロセッサカード300Aの管理LAN接続に接続され、1個のポートがリンク531Cを介してSMCのLANポート(すなわち、コントローラ530の出力)に接続される。SMC300Eは、LANスイッチ532を通して送受信されるコンソールLAN管理通信のための管理サポートを提供する。SMC300Eは、ホストプロセッサカード300A、管理型イーサネットスイッチ300Cおよび300D、SMCプロセッサ502、ならびに、SMCリアトランジションモジュール300Fおよび300Gの管理LAN信号の制御を提供する。SMC300Eは、最大16個のホストプロセッサカード300AとLANスイッチ532との管理LAN接続のステータスを監視し、接続のいずれかが喪失した場合にアラームイベントを通知する。FPGA508およびLANスイッチ532は、制御情報およびステータス情報を交換するため、RS−232リンク533を介して互いに接続される。
【0029】E.ICバスサーバシステム100は、システム100内のコンポーネントの通信を可能にする8つのICバス554A〜554H(まとめてICバス554と呼ぶ)を有する。ICバス554は、ICコントローラ548を介してFPGA508に接続される。一実施形態では、ICバス554は、3つのインテリジェントプラットフォーム管理バス(IPMB:Intelligent Platform ManagementBus)554A、554Cおよび554Eと、3個のシステム管理バス(SMB)554B、554Dおよび554Fと、バックプレーンIDバス(BP)554Gと、SMC EEPROM550およびシャーシ温度センサ324にアクセスするためのICバス554Hとを有する。必要であれば、異なる数および構成のICバス554を使用することもできる。SMC300Eは、ICバス554を介して収集された情報を格納するため、不揮発性フラッシュメモリ500内にシステムイベントログ(SEL)を保持する。
【0030】IPMB ICバス554A、554Cおよび554Eは、インテリジェントプラットフォーム管理インタフェース(IPMI:Intelligent Platform management Interface(IPMI))仕様を実装する。IPMI仕様は、プラットフォーム管理ハードウェアに対する抽象化インタフェースを規定する規格である。IPMIは、標準ICプロトコルの上に層に位置する。SMC300Eは、IPMB ICバス554A、554Cおよび554Eのうちの1つ以上を使用してホストプロセッサカード300Aおよびハードディスクカード300Bの各々から静的データを取得する。静的データには、カード300Aおよび300Bのそれぞれを識別するための識別情報が含まれる。システム100の各スロット110は、個別にアドレス指定することにより、そのスロット110内のカード300の静的構成データを取得することができる。一実施形態では、ホストプロセッサカード300Aおよびハードディスクカード300Bは、それぞれEEPROM302A(図3に示す)を有し、IPMB ICバス554A、554Cおよび554Eを介して取得された静的識別情報を格納する。一実施形態において、各EEPROM302Aは、カードの型式、カードの名称、カードのハードウェアリビジョン番号、カードのシリアル番号、および、カードの製造情報を保持する。
【0031】また、SMC300Eは、IPMB ICバス554A、554Cおよび554Eのうちの1つ以上を使用して、ホストプロセッサカード300Aおよびハードディスクカード300Bの各々から動的環境情報を取得する。一実施形態において、この動的情報は、カード300Aおよび300Bの各々の第2のEEPROM302B(図3に示す)に保持される。本発明の一実施形態では、動的基板データには、カードの温度および電圧測定値が含まれる。一実施形態では、SMC300Eは、情報をカード300のEEPROM302Aおよび302Bに書き込むことができる。
【0032】また、3つのSMB ICバス554B、554Dおよび554Fは、IPMI仕様も実装する。3つのSMB ICバス554B、554Dおよび554Fは、LED322と、2個のLCDパネル104と、二重冗長電源ユニット114と、ホストプロセッサカード300Aのうちのいくつかとに接続される。SMC300Eは、SMB ICバス554B、554Dおよび554Fのうちの1つ以上を使用して、LCDパネル104を介したコンソール通信を提供する。LCDパネル104上のキーバッドの押されたキーがSMC300Eへ伝達して返されるようにするため、キーが押されると警報信号が提供され、それによりSMC300Eが押されたキーをLCDパネル104に問合せる。
【0033】SMC300Eは、SMB ICバス554B、554Dおよび554Fのうちの1つ以上を介して電源ユニット114と通信することにより、電源ユニット114の動作状態を含む構成情報およびステータス情報を取得する。一実施形態では、二重冗長電源ユニット114は、電圧レール測定値をSMC300Eに提供する。各測定レールに対し、最小電圧値および最大電圧値が電源ユニット114に格納される。これらの電圧値は、SMC300Eにより、SMC300Eの現在の構成情報によって定義される時間間隔でポーリングされる。電圧測定値が最大および最小電圧構成パラメータによって定義される仕様外に外れると、SMC300Eはアラームイベントを生成する。一実施形態では、電源ユニット114は、構成情報およびステータス情報を関連するEEPROM323(図3に示す)に格納する。
【0034】バックプレーンIDバス(BP)554Gは、バックプレーン106上のバックプレーンEEPROM314(図3に示す)に接続される。SMC300Eは、BPバス554Gを介してバックプレーンEEPROM314と通信して、ハードウェアIDおよびリビジョン番号を含むバックプレーン製造データを取得する。スタートアップ時、SMC300Eは、このEEPROM314と通信して製造データを取得し、これをハードウェア適合テーブルに追加する。SMC300Eは、別のシャーシから取り外されたものが新しいシャーシにホットスワップされ、あるいは、新しいシャーシに追加されてシャーシの電源が投入される可能性もあるので、これらの製造データによって、基板上に有する構成に対して自身が正しいシャーシに位置しているか否かを判定することができるようにしている。基板上に有効な構成が無い場合、または、SMC300Eが自身がいずれのシャーシに位置しているかを判定することができない場合、SMC300Eは、外部管理ネットワーク320からプッシュされる構成、または、後述する接続方法のうちの1つを介したマニュアルによるユーザ構成を待つ。
【0035】一実施形態では、システム100内には、単一の温度センサ324が存在する。SMC300Eは、ICバス554Hを介して温度センサ324から温度情報を受信する。SMC300Eは、後述するように、この温度を監視および記録し、温度に応じて冷却ファン304の速度を調整する。また、SMC300Eは、ICバス554Hを用いて、SMC300Eの基板リビジョンおよび製造データを格納するEEPROM550にアクセスする。
【0036】F.シリアルポートSMC300Eは、4個のRS−232インタフェース310A〜310D(まとめてシリアルポート310と呼ぶ)を有する。RS−232シリアルインタフェース310Aには、SMC300Eのフロントパネル上のD型9ピンオス型コネクタを用いる。他の3個のシリアルポート310B〜310Dは、バックプレーン106を通して接続される。フロントパネルのRS−232シリアルインタフェース310Aは、フルモデム制御付きUART534を介してFPGA508に接続され、SMC300Eのフロントパネルを介してモニタ情報およびデバッグ情報を利用可能にする。バックプレーンのシリアルポート310Dも、フルモデム制御付きUART538を介してFPGA508に接続される。一実施形態では、バックプレーンのシリアルポート310Dは、デバッグ用ポートまたはコンソール用ポートとして用いられる。他の2つのバックプレーンのシリアルインタフェース310Bおよび310Cは、デュアルUART536を介してFPGA508に接続され、バックプレーン106を通して管理型イーサネットスイッチ300Cおよび300Dに経路指定される。これら2個のバックプレーンのシリアルインタフェース310Bおよび310Cは、管理型イーサネットスイッチカード300Cおよび300Dに接続してこれらを構成し、これらからステータス情報を取得するために使用される。
【0037】G.ファンおよび温度制御一実施形態では、サーバシステム100は6個のシャーシファン304を有する。サーバシステム100は、シャーシ温度を監視する温度センサ324と、6個のファン304を監視するファンセンサ306とを有する。一実施形態では、ファンセンサ306は、ファン304が回転しているか否か、及び、ファンの速度設定を示す。本発明の一実施形態において、FPGA508は、6個のファン304の回転を監視するための6個のファン入力ライン522D(すなわち、各ファンセンサ306につき1つのファン入力ライン522D)と、ファンコントローラ526A〜526Cに接続された1つのファン出力ライン524とを有する。ファンコントローラ526A〜526Cは、出力ライン528A〜528Fを介してPWM(パルス幅変調)信号によりファン304の速度を制御する。ファン304が失速すると、そのファン304のモニタライン522Dは、その状態をFPGA508に示し、アラームイベントが生成される。ファン304の速度は、システム100内の最適な動作温度または最適なファンノイズを維持するように変更される。温度センサ324によって検知したシャーシ温度が温度アラームしきい値以上になると、アラームイベントが生成される。シャーシ温度がアラームしきい値未満に低下すると、アラームイベントがクリアされる。シャーシ温度が温度臨界しきい値以上になると、システム100内のコンポーネントの物理的完全性が危険な状態にあるとみなされ、SMC300Eは、システムシャットダウンを実行し、SMC300E以外のすべてのカードの電源が落される。シャーシ温度が臨界しきい値未満に低下してアラームしきい値に達すると、SMC300Eは、シャーシ温度が臨界しきい値に達したときに電源を落としたすべてのカード300の電源を回復させる。
【0038】一実施形態では、SMC300Eは、電源リセット(PRST)ライン514と電源オフライン(PWR_OFF)516とを使用してカード300の電源状態を制御する。FPGA508は、それぞれ出力レジスタ510Aおよび510Bを介して電源リセットライン514および電源オフライン516に接続される。一実施形態では、電源リセットライン514および電源オフライン516は各々、カード300に接続された19個の出力ラインを含む。SMC300Eは、電源オフライン516を使用して選択されたカード300の電源をオフにし、電源リセットライン514を使用して選択されたカード300をリセットする。一実施形態において、10スロットシャーシ構成の場合には、もっと少ない本数の電源リセットラインおよび電源オフラインが使用される。
【0039】H.クロック発生器/ウォッチドッグSMC300Eは、ソフトウェアとハードウェア両方のウォッチドッグタイマによって保護される。ウォッチドッグタイマは、SMC300Eにクロック信号を供給するクロック発生器/ウォッチドッグブロック540の一部である。ハードウェアウォッチドッグタイマは、ソフトウェアローディングよりも前に始動して障害に対する保護を開始する。一実施形態において、この時間は、ソフトウェアのローディングに要する時間が最悪の場合でも許容できるくらい十分長い時間に設定される。ハードウェアウォッチドッグタイマの一定時間が経過すると、SMCプロセッサ502がリセットされる。
【0040】I.動作のモード一実施形態において、SMC300Eは、3つの動作フェイズ、即ち動作モードを有する。スタートアップ、通常動作およびホットスワップの3つである。電源投入時またはリセット時には、スタートアップモードに入り、SMC300Eを動作状態にするために必要なシーケンスを制御する。また、SMC300Eは、シャーシコンポーネントが管理LAN上で通信することを可能にするための最小構成情報も提供する。スタートアップ手順のプロセスは、スタートアップ中のいかなるエラーをも示すLED322上で追跡することができる。
【0041】スタートアップモードが完了すると、通常動作モードに入る。通常動作モードにおいて、SMC300Eは、システム100およびそのコンポーネントの動作状態を監視し、アラームイベントを報告する。SMC300Eは、温度、ファン、入力信号、および、ホストプロセッサカード300Aの動作状態などが含まれるシャーシ環境を監視する。
【0042】SMC300Eは、管理LANを介してアラームイベントを中央部即ちアラームイベントマネージャへ報告する(即ち、LANスイッチ532と2つのSMCリアトランジションモジュール300Fまたは300Gのうちの一方とを介して外部管理ネットワーク320へ報告する)。アラームイベントマネージャは、外部管理ネットワーク320の一部に存在する外部モジュールであり、サーバシステム100によって生成されたアラームイベントを処理する。アラームイベントマネージャは、受信したアラームおよびイベントの処置の仕方を判定し、必要と思われる何らかの回復または再構成を開始する。管理ネットワークを介したアラームイベントの送信に加えて、システムイベントログ(SEL)もSMC300Eに保持され、これらのアラーム及びイベントの記録が保存される。SELは、SMC300E内の不揮発性フラッシュメモリ500に保持されるので、SMC300Eの電源の入れ直し及びリセットがあっても保持される。
【0043】通常動作モードでは、SMC300Eが構成コマンドを受信して開始することができ、受信したコマンドに応じた動作を行う。この構成コマンドによって、SMCプロセッサ502のファームウェア、および、プロセッサ502によって制御されるハードウェアを構成することが可能になる。これにより、SMC300Eの動作が現在の環境にカスタマイズされる。構成コマンドは、管理ネットワーク320から受信する場合もあるし、テストシェルを介してローカルシリアルポート310のうちの1つ(後述する)から、あるいは、LCDパネル104のうちの一方から受信する場合もある。
【0044】システム100からカード300を取り除こうとする場合、ホットスワップモードに入る。一実施形態において、SMC300Eを含むすべてのシャーシカード300、および、2個の電源ユニット114は、ホットスワップさせることができる。カード300が取り除かれる場合、アプリケーションシャットダウンシーケンスが開始される。このシャットダウンシーケンスは、カード300を取り除く用意をするために必要なすべてのステップを実行する。
【0045】一実施形態において、FPGA508は、18個のホットスワップステータス入力522Bを有する。これらの入力522Bにより、SMC300Eは、ホストプロセッサカード300A、ハードディスクカード300B、管理型イーサネットスイッチカード300C,300D、SMCリアトランジションモジュールカード300F,300G、および、電源ユニット114のホットスワップステータスを判定することができる。また、SMCカード300E自体のホットスワップステータスも、このインタフェース522Bによって判定される。
【0046】システム100内の何らかのカード300が取り除かれるかまたはインストールされている場合、割り込みが生成され、SMCプロセッサ502に渡される。SMC300Eは、基板選択ライン(BD_SEL)518とシステム100内のカード300の基板動作状態ライン(HEALTHY)520とを監視する。一実施形態において、基板選択ライン518および基板動作状態ライン520は、それぞれ19本の入力ラインを有し、これらの入力ラインがそれぞれ入力レジスタ512Aおよび512Bを介してFPGA508に接続される。SMC300Eは、ボード選択ライン518を監視することにより、カード300がインストールされた時を検出する。SMC300Eは、基板動作状態ライン520を監視することにより、カード300が正常でありリセット状態から出ることができるか否かを判定する。
【0047】SMC300Eは、カードが挿入または除去されたことを検出すると、アラームイベントを生成する。新たなカード300がシステム100に挿入されると、SMC300Eは、そのカード300の識別EEPROM302Aをポーリングすることにより、挿入されたカード300の種類を判定する。情報は、EEPROM302Aから取得され、ハードウェア適合テーブルに追加される。また、SMC300Eは、新たなカード300がまだ構成されていない場合、または、その構成が期待された構成と異なっている場合、その新たなカード300を構成する。SMC300E以外のカード300がシステム100からホットスワップにより外されると、SMC300Eは、それにしたがってハードウェア適合テーブルを更新する。
【0048】一実施形態において、SMC300Eは、3つの状況で引き出すことができる。すなわち、(1)SMCフロントパネルの引出レバー308がCompactPCI仕様にしたがってSMC300Eを取り除くことを示す「引出」位置に設定された場合に、割り込みが生成されてSMCプロセッサ502に渡されたとき。
(2)SMCプロセッサ502がSMC300Eの取り外しを外部管理ネットワーク320に通知して安全に引き出せるようにしたとき。
(3)SMCプロセッサ502がSMCを取り外してよいことを青色のホットスワップLED322によって示しているとき。SMC300Eは、ホットスワップLED322がカード300Eを取り除いてよいことを示す前に、あらゆるアプリケーションダウンロードおよびフラッシング動作を確実に完了させる。
【0049】J.ユーザ接続性一実施形態において、SMC300E内では、2つのテストシェルが実行される。ユーザおよびアプリケーションによりアクセスされ使用される通常のランタイムテストシェルであるアプリケーションレベルのテストシェルが存在する。また、フラッシュメモリ500内に存在する製造業者用テストシェルであるスタンドアロンのテストシェルも存在し、製造レベルの診断および機能を提供する。スタンドアロンのテストシェルは、SMC300Eがブートするときに、適当なジャンパがSMC300Eに対して適当な位置に設定されていると起動される。スタンドアロンのテストシェルは、ユーザがアクセスしないコマンド、または、アクセスしてはならないコマンドへのアクセスを可能にする。
【0050】テストシェルは、SMC300Eに対するオペレータインタフェースを提供する。これにより、オペレータは、システム100のステータスを問い合わせ、および(必要とされる権限レベルを有していれば)システム100の構成を変更することができる。
【0051】ユーザは複数の方法でテストシェルと対話することができ、これらの方法には、シリアルポート310のうちの1つに直接接続された端末を介してローカルに対話する方法、シリアルポート310のうちの1つにモデムによって接続された端末を介してローカルに対話する方法、2つのLEDパネル104のうちの一方を介してローカルに対話する方法、および、管理LAN320を通して確立されたTELNETセッションを介してリモートに対話する方法などが含まれる。ユーザは、シリアルポートの設定がコンソールであるかモデムであるかに応じて、端末をSMC300Eのフロントパネルのシリアルポート310Aまたはリアパネルのシリアルポート310B−310Dに接続することにより、テストシェルに接続することができる。RS−232接続およびLAN接続は、TELNETコンソールインタフェースを提供する。LCDパネル104は、TELNETコンソールインタフェースと同じコマンド機能を提供する。SMC300Eは、ユーザがモデムを呼び出すことによってリンクを確立することができる場合はダイアルイン機構として機能し、あるいは、SMC300Eが設定された番号にダイアルアウトすることができる場合にはダイアルアウト機構として機能することもできる。
【0052】テストシェルは、アラームおよびイベントステータス情報に対する直接アクセスを提供する。さらに、テストシェルは、ユーザに対して、温度ログ、電圧ログ、シャーシカード適合テーブルおよびすべての構成パラメータの現在の設定を含むその他の情報に対するアクセスも提供する。SMC300Eの構成は、テストシェルを介して変更することができる。いかなる構成の変更も、システム100内の関連するカード300に伝達される。一実施形態において、テストシェルを介してダウンロードされる構成情報には、システム100に存在すると期待されるカード300のリストと、これらのカード300用の構成データとが含まれる。構成情報は、フラッシュメモリ500に格納され、SMC300Eが電源投入される度に使用される。
【0053】IV.LANの分離一実施形態では、LANスイッチ532は、コンソールLAN通信を個々のホストプロセッサカード300Aのペイロード通信から物理的に分離する。この通信の分離を、図6を参照してさらに説明する。
【0054】図6は、本発明の一実施形態によるサーバシステム100Aおよび100B(まとめてサーバシステム100と呼ぶ)を含むネットワーク600を示す電気的ブロック図である。ネットワーク600は、ファイアウォール602と、サーバシステム100と、LANスイッチ608、610、618および620と、ソフトウェアイベント管理サーバ612と、ハードウェアイベント管理サーバ616とを含む。サーバシステム100Aは、サーバ管理カード(SMC)300Eと、ハードディスクカード300Bと、ホストプロセッサカード300A−1および300A−2(まとめてホストプロセッサカード300Aと呼ぶ)と、Procurveスイッチカード300Cおよび300Dと、SMCリアトランジションモジュール300Fおよび300Gとを有する。上述したように、SMC300Eは、リンク531Bを介してホストプロセッサカード300Aの管理LAN接続に接続される。また、SMC300Eは、上述したように静的および動的情報を取得するために、ICバス554を介してホストプロセッサカード300Aおよびハードディスクカード300Bにも接続される。
【0055】SMC300Eは、リンク531Aを介してSMCリアトランジションモジュール300Fおよび300Gに接続され、外部管理ネットワーク320(図3に示す)上の管理LAN信号を交換する。一実施形態において、リアトランジションモジュール300Fおよび300Gは、外部管理ネットワーク320(図3に示す)に接続するためのLANリンク318Aおよび318B(まとめてLANリンク318と呼ぶ)を有する。本発明の一実施形態において、SMC300Eは、LANリンク318Aを介してコンソールLAN信号を送出し、LANリンク318Bを介して簡易ネットワーク管理プロトコル(SNMP:Simple Network Management Protocol)によりハードウェアイベントを送出する。一実施形態において、LANリンク318Aは、イベントのためには使用されない。コンソールLAN信号は、管理LANリンク531Bを介してSMC300Eとホストプロセッサカード300Aとの間で交換される。ハードウェアイベントは、内部IPMIコマンドを用いてホストプロセッサカード300Aおよびハードディスクカード300Bから送信され、ICバス554を介してSMC300Eへ送信される。
【0056】ホストプロセッサカード300A−1および300A−2は、それぞれProcurve LANスイッチ300Cおよび300Dに接続される。SMC300Eは、バックプレーンRS−232リンク310Bおよび310Cを介してLANスイッチ300Cおよび300Dを制御する。LANスイッチ300Cおよび300Dは、顧客またはペイロードLAN303(図3に示す)に接続するため、それぞれLANリンク301Aおよび301B(まとめてLANリンク301と呼ぶ)を有する。一実施形態では、ホストプロセッサカード300Aは、LANリンク301Aを介してSNMPソフトウェアイベントを送出する。本発明の一実施形態では、LANリンク301Bはイベントには使用されない。
【0057】図6に示すように、コンソールLANリンク318Aは、顧客LANリンク301Aおよび301Bから物理的に分離される。さらに、故障等のインフラストラクチャイベントはコンソールLANリンク318Aを介してSNMPプロトコルにより送信され、一方、オペレーティングシステム(OS)の故障等の顧客イベントは顧客LANリンク301Aを介して送信される。これによって、LANリンクの2つの集合301および318を介する通信の論理的分割と物理的分割との両方が提供される。必要であればインフラストラクチャの故障(例えば、ハードウェア故障)を個々のホストプロセッサカード30Aの所有者から隠すことができるので、透過的にサービスすることができる。
【0058】ハードウェアイベントは、ハードウェアイベント管理サーバ616によって管理される。ハードウェアイベント管理サーバ616は、LANスイッチ618を介してLANリンク318Bに接続される。ソフトウェアイベントは、ソフトウェアイベント管理サーバ612によって管理される。ソフトウェアイベント管理サーバ612は、LANスイッチ610を介して顧客LANリンク301Aに接続される。ソフトウェアイベント管理サーバ612上で動作するOpenview、Network Node Manager、Tivoli、TopTools等の高レベルの管理ソフトウェアは、SNMPトラップを用い、顧客LANを介してサーバシステム100Aの故障管理を行うことができる。これらの顧客LANは、統合することができ、個別契約で貸借または購入した様々な故障管理ソフトウェアにより監視することができる。
【0059】一実施形態において、サーバシステム100Bはサーバシステム100Aと実質的に同一のものである。サーバシステム100Aおよびサーバシステム100Bは、LANスイッチ608、610、618および620を介して互いに接続される。スイッチ608は、サーバシステム100Aおよび100Bを顧客LANリンク606に接続する。顧客LANリンク606は、ファイアウォール602に接続される。スイッチ620は、サーバシステム100Aおよび100Bをコンソールおよび/または管理LANリンク622に接続する。LANリンク622は、ファイアウォール602に接続される。また、ファイアウォール602は、インタネット604にも接続される。ファイアウォール602は、ネットワーク600にセキュリティを提供する。
【0060】破線614が、ハードウェアイベント管理サーバ616およびLANスイッチ618,620を囲んでいる。一実施形態において、破線614は、物理的に安全(セキュア)な領域を表す。
【0061】顧客LAN303と管理LAN320とを物理的に分離することによって顧客LAN303上の制御情報が外部から「スヌーピング」される可能性を除去し、それにより、容易に保守することのできる安全度の高いインフラストラクチャが提供される。さらに、2種類のLAN303および320の機能を分割することによって、シャーシプロバイダとのサポート契約をシャーシスロットの個々のサーバについてのサポート契約から分離することができる。
【0062】SMC300E内に一体化されたコンソールLAN信号用のLANスイッチ532と予め経路指定されたバックプレーン106とを用いると、SMC300Eの顧客は、コンソールLAN信号のためにケーブル結線を管理する必要がなくなる。顧客LAN303をコンソールLAN320から分離することにより、サーバシステム100の各サーバ「ブレード」を、システム100からインタネット604等の外部ソースへ出て行く異なるペイロード情報を有する独立したシステムにすることができる。サーバシステム100に対して自由にアクセスできる可能性があるので、コンソールLAN信号は、偶発的または悪意のあるパケットに対してアクセス不可能にしておくことが極めて望ましい。コンソールLAN信号が公衆回線と物理的に接続されていないので、必然的に高レベルのセキュリティが維持される。
【0063】本明細書では、好ましい実施形態を説明する目的で、特定の実施形態を例示して説明してきたが、当業者には、本発明の範囲から逸脱することなく、例示し説明した特定の実施形態に代えて、多種多様の代替および/または均等を実施できることが分かるであろう。化学、機械、電気機械、電気およびコンピュータの技術分野における当業者には、本発明が非常に多種多様な実施形態で実施できることが容易に分かるであろう。これらの応用形態は、本明細書で説明した好ましい実施形態のあらゆる応用または変形も包含することを意図している。したがって、本発明は、特許請求の範囲とその均等によってのみ限定されることを意図している。
【0064】以下においては、本発明の種々の構成要件の組み合わせからなる例示的な実施態様を示す。
1.ペイロードLAN通信から分離された管理LAN通信を提供するための複数のホストプロセッサカード(300A)と、前記複数のホストプロセッサカードに接続され且つペイロードLAN(303)に接続された第1のカードであって、前記複数のホストプロセッサカードが該第1のカードを通してペイロードLAN通信を提供するように構成された、第1のカード(300C)と、前記複数のホストプロセッサカードに接続され且つ管理LAN(320)に接続された第2のカードであって、前記複数のホストプロセッサカードが該第2のカードを通して該管理LANとの管理LAN通信を提供するように構成された、第2のカード(300E)と、からなる、サーバシステム(100)。
2.前記第1のカードがLANスイッチカードである、項番1のサーバシステム。
3.前記第2のカードがサーバ管理カードである、項番1のサーバシステム。
4.前記サーバ管理カードが前記サーバシステムの動作を監視するように構成される、項番3のサーバシステム。
5.前記サーバ管理カードが管理プロセッサ(502)およびLANスイッチ(532)を含み、該LANスイッチが前記ホストプロセッサカードの管理接続と前記管理プロセッサの管理接続とに接続される、項番4のサーバシステム。
6.前記複数のホストプロセッサカードを前記第1のカードおよび前記サーバ管理カードに接続するためのバックプレーン(106)をさらに含む、項番3のサーバシステム。
7.前記複数のホストプロセッサカードは、前記バックプレーンを通して接続された少なくとも1つのI2Cバス(554)を介してステータス情報を前記サーバ管理カードと通信するように構成される、項番6のサーバシステム。
8.物理的に分離された管理LAN通信およびペイロードLAN通信をサーバシステム(100)に提供するための方法であって、管理LAN通信およびペイロードLAN通信を提供するための複数のホストプロセッサカードを設けるステップと、管理LAN通信を前記複数のホストプロセッサカード(300A)からサーバ管理カード(300E)を通してルーチングするステップと、管理LAN通信を前記サーバ管理カード(300E)から管理LAN(320)へルーチングするステップと、ペイロードLAN通信を前記複数のホストプロセッサカードから第1のLANスイッチ(300C)を通してルーチングするステップと、ペイロードLAN通信を前記第1のLANスイッチからペイロードLAN(303)へルーチングするステップと、からなる方法。
9.バックプレーン(106)と、前記バックプレーンに接続された複数のホストプロセッサカード(300A)と、前記バックプレーンを通して前記複数のホストプロセッサカードに接続され且つペイロードLAN(303)に接続されたLANスイッチカードであって、前記複数のホストプロセッサカードが該LANスイッチカードを通して該ペイロードLANとの通信を提供するように構成された、LANスイッチカード(300D)と、前記バックプレーンを通して前記複数のホストプロセッサカードに接続され且つ管理LAN(320)に接続されたサーバ管理カードであって、前記複数のホストプロセッサカードが該サーバ管理カードを通して該管理LANとの通信を提供するように構成された、サーバ管理カード(300E)と、からなるサーバシステム(100)。
10.前記バックプレーンを通して前記複数のホストプロセッサカードに接続され且つソフトウェアイベントマネージャ(612)に接続された第2のLANスイッチカードであって、前記ホストプロセッサカードが該第2のLANスイッチカードを通してソフトウェアイベントを該ソフトウェアイベントマネージャへ送信するように構成された第2のLANスイッチカードをさらに含み、前記複数のホストプロセッサカードがハードウェアイベントを前記サーバ管理カードへ送信するように構成された、請求項9のサーバシステム。
【0065】
【発明の効果】本発明は、上記のように構成することにより、サーバ管理用LANの通信とペイロードLANの通信とを分離した安全なサーバシステムを提供することができる。




 

 


     NEWS
会社検索順位 特許の出願数の順位が発表

URL変更
平成6年
平成7年
平成8年
平成9年
平成10年
平成11年
平成12年
平成13年


 
   お問い合わせ info@patentjp.com patentjp.com   Copyright 2007-2013