Projects | ISLab, the University of Osaka

JST Top ASPIREプロジェクト CV/AI応用のためのディープセンシングによるセンシングと解析の同時最適化

Fri, 03 Apr 2026 00:00:00 +0900

本研究は、従来の深層学習が行なってきたデジタル層でのモデル最適化のみならずセンシングハードウェアのパラメータや設計を含んだパイプライン全体を最適化するディープセンシングの枠組みの一般化と、あらゆるコンピュータビジョン(CV)や人工知能(AI)アプリケーションによる実証を目的とする。具体的には、日本側および米国、カナダの3カ国におけるコンピュテーショナルフォトグラフィ(CP)およびCVの専門家によるチーム研究により、様々な画像認識や推定タスクにおいて最適な画像センシング手法を学習によって獲得することで、通常のカメラに対して著しい性能向上を実現する。3カ国を跨いだ国際的なチーム研究を通して、このハードウェアとソフトウェアの同時最適化を行うディープセンシングの枠組みの深化と研究領域への一般化、およびあらゆるCV/AIアプリケーションへの広い適用を実現する。また、頭脳循環の促進のために、若手人材を中心とした国際共同研究やワークショップなどの国際活動を通して、次世代の若手研究者の国際ネットワークの形成を支援する。

Label-efficient Medical Image Analysis

Fri, 03 Apr 2026 00:00:00 +0900

Label-efficient Medical Image Analysis

本研究室では、病理画像、顕微鏡画像、眼底画像、内視鏡画像などの疾患の診断や治療のために取得された医療画像に着目し、これらの画像から機械学習技術を用いて、病変位置の特定や疾患の種類の分類を目標とした医用画像解析の研究に取り組んでいます。深層学習の登場により認識技術は急速に発展し、十分な学習データがあれば高精度な解析が実現可能となりつつあります。

一方で、医用画像解析には大きな課題があります。それは、高品質な教師データ（アノテーション）を大量に用意することが難しいという点です。医用画像のラベル付けは医師や専門家によって行われる必要があり、多大な時間と労力を要します。例えば、病理画像では腫瘍領域をピクセル単位で正確に指定する必要があり、細胞レベルのアノテーションには専門的な知識と長時間の作業が必要になります。

このような背景から、本研究室では少ないラベルで高精度な解析を実現するLabel-efficient learningに取り組んでいます。具体的には、少量の教師データと大量の未ラベルデータを活用する半教師あり学習（semi-supervised learning）や、粗いラベルから学習を行う弱教師あり学習（weakly supervised learning）などの手法を開発し、医用画像解析への応用を進めています。これにより、アノテーションコストを大幅に削減しながら、実際の医療現場で利用可能な医用画像解析技術の実現を目指しています。

画像とオミクスデータの統合解析基盤の構築

Fri, 03 Apr 2026 00:00:00 +0900

画像とオミクスデータの統合解析基盤の構築

生命科学や医学の研究では、顕微鏡画像や病理画像などの画像データ（Vision）と、遺伝子発現やタンパク質量などを測定したオミクスデータ（Omics）の両方が利用されることが多くあります。顕微鏡画像や病理画像は、細胞や組織の形態や空間構造に関する情報を提供するデータであり、一方でオミクスデータは、遺伝子や分子レベルの状態を網羅的に測定したデータです。これらはそれぞれ異なる側面から生体の状態を記述しており、両者を組み合わせることで、より深い生命現象の理解が可能になります。

近年では、空間トランスクリプトミクスなどの技術の発展により、組織中の遺伝子発現情報を空間情報とともに取得することができるようになり、画像データと分子データを統合的に解析する研究が活発になっています。しかし、画像データとオミクスデータはデータの形式や次元が大きく異なるため、それらを効果的に統合することは容易ではありません。

本研究では、画像解析技術と機械学習を用いて、画像データとオミクスデータを統合的に解析する手法の開発に取り組んでいます。例えば、組織画像から抽出した形態的特徴と遺伝子発現データを関連付けることで、細胞状態や疾患メカニズムの理解を深めることを目指します。このようなVision と Omics を統合したデータ解析によって、疾患の理解や診断・治療の研究に貢献する新しい知見の創出を目指しています。

物理エンコーダの同時最適化による物体認識モデルと病理診断実証

Sat, 20 May 2023 00:00:00 +0900

3D画像認識AIによる革新的癌診断支援システムの構築

Sat, 01 Oct 2022 00:00:00 +0900

標本採取による細胞診断は、癌の早期発見に有効な検査法の1つです。我々は、超解像多重焦点画像列から細胞の3次元形状情報を抽出し、それに基づいた3次元画像認識AIによる細胞レベルで診断する革新的な子宮頸部細胞診自動診断支援システムを開発します。これにより、2次元画像のみを用いる現行機を凌駕する高精度で質の高い細胞診断を実現し、次世代細胞診断の創出を目指します。

本プロジェクトは、科学技術振興機構（JST）戦略的創造研究推進事業CREST研究領域「イノベーション創発に資する人工知能基盤技術の創出と統合化」（人工知能）に採択されています。

詳しくはこちら。

Knowledge VQA

Wed, 01 Jul 2020 10:13:28 +0900

知識を要する画像・映像に関する質疑応答（Knowledge Visual Question Answering; KVQA）は、画像・映像に関する質問で、回答に知識を必要とするタスクです。知識を要求するこの新しいタスクは、今までのタスクと同様画像・映像の理解に加えて、どうやって知識を収集するのか、回答生成時にどうやって（外部）知識を取り入れるのか、という新しいチャレンジが必要になります。

このプロジェクトでは、KVQAのための新しいデータセットを構築し、公開しています。この成果は、人工知能分野のトップカンファレンスの一つであるAAAI 2020で発表しました。

また、深層学習などでの利用にあたって映像をどのように表現するかは、質疑応答をはじめとする様々なタスクにおいて主要な研究課題となっています。特に、視覚と自然言語を入力とするタスクでは、モデルが自然言語ばかり注目するような現象もあるようで、難しい問題です。このプロジェクトでは、映像をテキストで表現するアプローチ（キャプション生成のような教師ありの手法ではなく、映像から必要なオブジェクトなどを検出してルールベースでテキストを生成する手法）を採用し、既存手法と比較しています。この成果は、コンピュータビジョン分野のトップカンファレンスの一つであるECCV 2020で発表しました。

関連した研究として、絵画に関するQAについても取り組んでいます。

Publications

Noa Garcia, Chentao Ye, Zihua Liu, Qingtao Hu, Mayu Otani, Chenhui Chu, Yuta Nakashima, and Teruko Mitamura (2020). A Dataset and Baselines for Visual Question Answering on Art. Proc. European Computer Vision Conference Workshops.
Noa Garcia and Yuta Nakashima (2020). Knowledge-Based VideoQA with Unsupervised Scene Descriptions. Proc. European Conference on Computer Vision.
Noa Garcia, Mayu Otani, Chenhui Chu, and Yuta Nakashima (2020). KnowIT VQA: Answering knowledge-based questions about videos. Proc. AAAI Conference on Artificial Intelligence.
Zekun Yang, Noa Garcia, Chenhui Chu, Mayu Otani, Yuta Nakashima, and Haruo Takemura (2020). BERT representations for video question answering. Proc. IEEE Winter Conference on Applications of Computer Vision.
Noa Garcia, Chenhui Chu, Mayu Otani, and Yuta Nakashima (2019). Video meets knowledge in visual question answering. MIRU.
Zekun Yang, Noa Garcia, Chenhui Chu, Mayu Otani, Yuta Nakashima, and Haruo Takemura (2019). Video question answering with BERT. MIRU.

オーストラリアの歴史とAI

Wed, 01 Jul 2020 10:13:06 +0900

大阪大学文学研究科の藤川隆男教授との共同研究では、当時のパブリックミーティングの参加呼びかけについての新聞記事を利用してオーストラリアの歴史を探索しするアプローチを模索しています。

ISLabでは、自然言語処理の最新技術をリヨ空いて、OCRの出力を改善するポストプロセスや、新聞記事の自動構造化など、研究の基盤となるデータ収集のための方法論を構築しています。

学術変革領域研究(A) 学習物理学の創成

Wed, 01 Jul 2020 10:12:37 +0900

物理学は、その長い歴史の中で、自然科学で最も精密な実験場を提供し、さまざまな自然の階層における課題を、数理科学との連携により解決してきました。

一方で、機械学習分野は、人工知能の基盤をなす数理体系であり、近年の計算科学の進展により爆発的な進化を見せている、大きな研究分野です。我々は、これら大きな二つの分野を融合する、「学習物理学領域」を提案します。

詳しくはこちら。

多元コンピュテーショナル光計測による手術支援応用

Wed, 01 Jul 2020 10:12:37 +0900

近年、開腹手術とくらべて患者の負担が少なく快復が早いことから内視鏡手術が注目されている。しかし、内視鏡で得られるのは視野の狭い2次元画像で、術者に高度な技術を要求することから開腹手術と比べて効率や安全性が劣るという問題がある。本研究では、新たな光計測技術を開発し非接触でリアルタイムの臓器の3次元計測･推定手法を実現する。

研究分野：情報学、知覚情報処理
キーワード：コンピュテーショナルフォトグラフィ、光センシング、医療計測

詳しくはこちら。

Society 5.0 Projects

Wed, 01 Jul 2020 10:07:15 +0900

D3センターでは、情報科学の様々な分野に渡る技術を利用して、Society 5.0プロジェクトに取り組んでいます。

Society 5.0 とは・・・IoTビッグデータ、ロボット技術、人工知能等のイノベーションを、産業や社会生活に活用し、人々が活力に満ちた質の高い生活を実感できる社会のこと。

このプロジェクトの下、以下の二つの課題に取り組んでいます。

Society 5.0のためのソーシャルセンシング

多種多様な、広く公開されたセンサデータから有用な情報を集めるセンシング技術は、Society 5.0の実現に不可欠なものです。ソーシャルネットワークでさえも、現在の社会を観測するプローブであると見ることができます。このプロジェクトでは、ソーシャルネットワークを利用して、人々の感情などを推測するシステムを構築し、Society 5.0の世界におけるタイムリーなサービスの提供を目指します。

Society 5.0世界の未来の学校プロエジェクト

教育の提供は持続可能な開発目標の一つとして挙げられる現代社会の課題の一つです。e-learningはこの目標に対するアプローチの一つとなり得るものですが、質の高い教育のためには、学習者の状態の把握などを始めとする様々な技術による支援が必要になると考えられます。このプロジェクトでは、関連する技術に幅広く取り組んでいます。

審美歯科修復における光学的シミュレーション解析

Wed, 01 Jul 2020 10:06:58 +0900

大阪大学歯学研究科との共同研究では、インプラントされた歯を光学的な観点からより自然に見せるための研究を行っています。

患者の口腔内の審美性に対する要求が高まっています。特に前歯部においては単に機能を回復するだけでなく、天然歯に近似した色調や光の透過性を有する修復治療が求められています。そこで、各種歯冠修復材料や歯の組織の光学特性を分析し光学的シミュレーションを行うことで、天然歯や歯冠修復物における光の振る舞いを可視化し、解析します。

AIホスピタル

Wed, 01 Jul 2020 10:05:12 +0900

大阪大学附属病院はでは、医療従事者、医療情報専門家、テータサイエンティストなどが一体となることにより、AIを用いた医療を速やかに、かつ安全に医療現場に導入するために、AI医療センターを設立しました。

ISLabでは、最新のAIの技術を利用してAI医療センターと共同研究を進めています。

眼科と人工知能

網膜画像中の血管を見ると、人の循環器システムに関する様々な情報を取り出すことができ、眼科のみではなく様々な診療科で活用されています。我々は、血管の自動抽出を目指して、IterNetという、深層学習を利用した新しい手法を開発しました (図(e))。

また、このIterNetをベースに、動脈と静脈を抽出、分類する手法を提案しています。この手法では深層学習を利用した分類器の結果に後処理を適用することで高い精度を達成しました。

Law and AI

Wed, 17 Jun 2020 23:02:32 +0900

大阪大学法学研究科の大久保規子教授との共同研究では、いろいろな国で環境法がどのように実施されているかについてを自動で評価する方法を研究しています。

環境法の参加原則は、①情報アクセス権、②政策決定への参加権、③司法アクセス権という３つの柱から成り立っていますが、その具体的制度は国によりさまざまで、実効性を評価するための法的手法が模索されています。このプロジェクトでは、環境法の参加原則に関する国際的な法的評価指標を検討するして、日本の参加法制の強みと弱みを比較法的な観点から分析し、環境民主主義の確立に向けた提言を行うことを目的としています。

このときの、まず最初の課題となるのが、いろいろな言語で記述される関連法、判例などをどのようにして見つけ出すかという点です。最初の取り組みとして、関連法、判例などを引用ネットワークと考え、そのトピックを教師なし学習的に発見する手法（トピックモデリング）を開発しました。

仏顔とAI

Wed, 17 Jun 2020 22:52:41 +0900

大阪大学文学研究科の藤岡穣教授との共同研究では、仏像の顔に着目して、その仏像に関する様々な側面を解析する研究を実施しています。

仏像の顔（仏顔）には、その地域や時代、作家に関する様々な情報が含まれると考えられます。我々は、統計的、機械学習的手法を用いて、仏顔の画像や3次元形状のデータから仏像の系統図を構築します。これは、専門家の主観や経験によらず、純粋にデータから得られた知識を利用して様式判定を実現することに繋がり、仏像に関する研究のグローバル化や、仏像の系統の特定からアジア圏の文化がどのようにシルクロードを伝播したかについて、さらなる知見を与える可能性を持つ。

この目的に向けて、ISLabでは解析に利用可能なより高度なモデルの学習のためのメタデータ収集を容易にしつつ、大量の仏顔画像コーパスをブラウジングするための新しいインターフェイスを開発した。

また、対象の画像を機械学習モデルで解釈する際に利用される画像の表現方法として、作者や時代、作成場所などの情報を画像と併せてベクトル表現するアプローチを開発した。このベクトル表現は、分類モデルなどに直接利用が可能となる。

Projects | ISLab, the University of Osaka

JST Top ASPIREプロジェクト CV/AI応用のためのディープセンシングによる センシングと解析の同時最適化

Label-efficient Medical Image Analysis

Label-efficient Medical Image Analysis

画像とオミクスデータの統合解析基盤の構築

画像とオミクスデータの統合解析基盤の構築

物理エンコーダの同時最適化による物体認識モデルと病理診断実証

3D画像認識AIによる革新的癌診断支援システムの構築

Knowledge VQA

Publications

オーストラリアの歴史とAI

学術変革領域研究(A) 学習物理学の創成

多元コンピュテーショナル光計測による手術支援応用

Society 5.0 Projects

Society 5.0のためのソーシャルセンシング

Society 5.0世界の未来の学校プロエジェクト

審美歯科修復における光学的シミュレーション解析

AIホスピタル

眼科と人工知能

Law and AI

仏顔とAI

JST Top ASPIREプロジェクト CV/AI応用のためのディープセンシングによるセンシングと解析の同時最適化