Skip to content

Commit 7c6bfcd

Browse files
committed
S5.1: приём файла без копирования
Книга больше не копируется в приложение. Место книги описывает BookSource (путь / ссылка content:// / наша копия), чтение по ссылке идёт прямо по файловому дескриптору через PdfDocument.openCustom и pread из libc. - fast_file_picker вместо file_selector: файл при выборе не читается, OutOfMemoryError на 73 МБ уходит у источника (flutter/flutter#141002) - saf_util отдаёт дескриптор и сведения о документе; закрепление разрешения — свой канал в MainActivity, ~25 строк Kotlin - непригодная для перескоков ссылка (труба облачного провайдера) — потоковый перенос в отдельном изоляте, буфер постоянного размера - потерянный доступ к файлу: не падение, а «выберите файл заново» без потери места чтения, цитат и заметок - лента рисует тот же документ, что и контроллер (у документа Android пути нет вовсе)
1 parent dd39f59 commit 7c6bfcd

39 files changed

Lines changed: 2441 additions & 157 deletions

‎CLAUDE.md‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -29,7 +29,7 @@
2929
| Локальная LLM | `flutter_gemma`; Gemma 3 1B int4 (~530 МБ), опционально Qwen 3 1.7B; **скачивается по запросу, не вшивается в сборку** |
3030
| Облачная LLM | Через свой прокси. Основной провайдер — **Groq** (бесплатный тир); резерв — платный Gemini 2.5 Flash-Lite и Llama 8B на DeepInfra. **Бесплатный тир Gemini запрещён**: Google обучается на содержимом запросов |
3131
| Прокси LLM | Cloudflare Worker (бесплатный тир): прячет ключ, лимитирует по устройству, роутит провайдеров |
32-
| Доступ к файлам | Книга **не копируется в приложение**. Android: `fast_file_picker` (файл при выборе не читается), закреплённое разрешение на ссылку, чтение по дескриптору через `PdfDocument.openCustom` и FFI-`pread`; потоковое копирование (`saf_stream`) — запасной путь для провайдеров, чья ссылка не годится для перескоков. Windows: обычный путь, `file_selector`. Копирование файла через память запрещено. `MANAGE_EXTERNAL_STORAGE` — последний рубеж, только если чтение по дескриптору окажется плохим (решение владельца, 23.08.2026; вводится в S5.1) |
32+
| Доступ к файлам | Книга **не копируется в приложение** (сделано в S5.1). Место книги описывает `BookSource`: путь, ссылка `content://` или наша копия. Android: `fast_file_picker` (файл при выборе не читается), закреплённое разрешение на ссылку (свой канал в `MainActivity`, ~25 строк Kotlin), дескриптор от `saf_util`, чтение через `PdfDocument.openCustom` и FFI-`pread`; потоковый перенос по дескриптору — запасной путь для провайдеров, чья ссылка не годится для перескоков. Windows: обычный путь. Копирование файла через память запрещено. `MANAGE_EXTERNAL_STORAGE` — последний рубеж, только если чтение по дескриптору окажется плохим (решение владельца, 23.08.2026) |
3333
| Синхронизация | **Google Drive appDataFolder самого пользователя**. Своей БД у проекта нет и не будет. В облако уходит **только прогресс чтения и то, что читатель создал сам** — цитаты, заметки, закладки |
3434
| Настройки отображения | Два уровня, **оба на устройстве**: мастер-настройки (какой открывается любая книга) и настройки книги (поправка к ним, предлагается сразу после открытия). Между устройствами переносятся по явной кнопке, а не сами. Светофильтр по умолчанию выбирается **сам, по времени суток**: утром светлый, днём сепия, вечером красный |
3535
| Авторизация | Вход через Google **браузерным потоком OAuth с PKCE, одинаково на обеих платформах**. Пакет `google_sign_in` и любые зависимости от Google Play Services запрещены |

‎README.md‎

Lines changed: 12 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -35,6 +35,15 @@ Memoria исходит из обратного: **страница занима
3535

3636
## Приватность
3737

38+
**Книга не копируется в приложение.** Она читается там, где вы её положили:
39+
на Windows — по обычному пути, на Android — по закреплённой ссылке на
40+
документ, кусками через файловый дескриптор. Место книга занимает одно, а
41+
не два, размер файла ничего не значит, и приложение не просит доступ ко
42+
всем файлам разом. Копия делается ровно в одном случае — когда хранилище
43+
отдаёт книгу потоком, по которому нельзя перескакивать (так делают
44+
облачные провайдеры): притворяться, что такой файл локальный, было бы
45+
нечестно.
46+
3847
У проекта **нет своего сервера с вашими данными и не будет**. Книги, заметки
3948
и позиция чтения лежат на устройстве и, если вы включите синхронизацию, —
4049
в скрытой папке приложения на **вашем** Google Drive. Запросы к облачной
@@ -48,8 +57,9 @@ Memoria исходит из обратного: **страница занима
4857

4958
Приложение в ранней альфе. Книга уже открывается, листается и помнит
5059
место; работают оглавление, поиск, автообрезка полей, режимы отображения
51-
и светофильтры. Библиотеки с обложками, выделения текста и синхронизации
52-
ещё нет.
60+
и светофильтры. Книга любого размера открывается без копирования — учебник
61+
в сотню мегабайт больше не проблема. Библиотеки с обложками, выделения
62+
текста и синхронизации ещё нет.
5363

5464
**Свежая сборка** — обновляется автоматически после каждого зелёного
5565
прогона CI, ссылки не меняются:
Lines changed: 78 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -1,5 +1,82 @@
11
package io.github.owner102007.memoria
22

3+
import android.content.Intent
4+
import android.net.Uri
35
import io.flutter.embedding.android.FlutterActivity
6+
import io.flutter.embedding.engine.FlutterEngine
7+
import io.flutter.plugin.common.MethodChannel
48

5-
class MainActivity : FlutterActivity()
9+
/**
10+
* Закрепление разрешения на выбранный документ.
11+
*
12+
* Всё остальное для работы с документами Android умеют готовые пакеты
13+
* (`fast_file_picker` выбирает файл не читая, `saf_util` отдаёт файловый
14+
* дескриптор и сведения о документе). Не умеют они ровно одного —
15+
* `takePersistableUriPermission`, а без него ссылка живёт до конца
16+
* процесса: закрыл приложение — и книга «пропала».
17+
*
18+
* Поэтому здесь ровно один канал и ровно два действия. Своего плагина
19+
* ради этого не заводится: плагин — это отдельный пакет, свой pubspec,
20+
* своя сборка и своя жизнь, а работы тут на два вызова системного API.
21+
*/
22+
class MainActivity : FlutterActivity() {
23+
override fun configureFlutterEngine(flutterEngine: FlutterEngine) {
24+
super.configureFlutterEngine(flutterEngine)
25+
MethodChannel(
26+
flutterEngine.dartExecutor.binaryMessenger,
27+
CHANNEL,
28+
).setMethodCallHandler { call, result ->
29+
val uri = call.argument<String>("uri")
30+
if (uri == null) {
31+
result.error("NO_URI", "нужна ссылка на документ", null)
32+
return@setMethodCallHandler
33+
}
34+
when (call.method) {
35+
"persist" -> result.success(persist(uri))
36+
"release" -> result.success(release(uri))
37+
else -> result.notImplemented()
38+
}
39+
}
40+
}
41+
42+
/**
43+
* Закрепляет разрешение на чтение документа.
44+
*
45+
* Возвращает `false`, если провайдер закрепить не дал: такое бывает у
46+
* тех, кто отдаёт документ разово. Книга при этом откроется сейчас и
47+
* не откроется после перезапуска — это состояние, а не падение, и
48+
* решать, что с ним делать, будет вызывающая сторона.
49+
*/
50+
private fun persist(uri: String): Boolean =
51+
try {
52+
contentResolver.takePersistableUriPermission(
53+
Uri.parse(uri),
54+
Intent.FLAG_GRANT_READ_URI_PERMISSION,
55+
)
56+
true
57+
} catch (error: SecurityException) {
58+
false
59+
}
60+
61+
/**
62+
* Отпускает закреплённое разрешение: книгу сняли с полки.
63+
*
64+
* Android держит закреплённых ссылок ограниченное число на
65+
* приложение, поэтому отпускать ненужные — не уборка ради порядка,
66+
* а работа с исчерпаемым ресурсом.
67+
*/
68+
private fun release(uri: String): Boolean =
69+
try {
70+
contentResolver.releasePersistableUriPermission(
71+
Uri.parse(uri),
72+
Intent.FLAG_GRANT_READ_URI_PERMISSION,
73+
)
74+
true
75+
} catch (error: SecurityException) {
76+
false
77+
}
78+
79+
private companion object {
80+
const val CHANNEL = "memoria/uri_permissions"
81+
}
82+
}

‎lib/application/app_services.dart‎

Lines changed: 22 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -1,29 +1,42 @@
1+
import 'dart:io';
2+
13
import '../domain/library/book_file_picker.dart';
4+
import '../domain/library/book_storage.dart';
25
import '../domain/reading/reader_document.dart';
3-
import '../infrastructure/files/file_selector_picker.dart';
6+
import '../infrastructure/files/android_book_storage.dart';
7+
import '../infrastructure/files/fast_book_picker.dart';
8+
import '../infrastructure/files/local_book_storage.dart';
49
import '../infrastructure/pdf/pdfrx_document.dart';
510
import 'data/app_data.dart';
611

712
/// Всё, чем приложение пользуется извне, собранное в одном месте.
813
///
914
/// Экраны получают этот объект и не знают, что за ним стоит: настоящий
10-
/// PDFium и системный диалог выбора файла — или заглушки из теста.
11-
/// Благодаря этому widget-тесты экранов не требуют ни PDF-движка, ни
12-
/// платформенных плагинов.
15+
/// PDFium, системный диалог выбора файла и Storage Access Framework — или
16+
/// заглушки из теста. Благодаря этому widget-тесты экранов не требуют ни
17+
/// PDF-движка, ни платформенных плагинов.
1318
class AppServices {
1419
/// Создаёт набор служб.
1520
const AppServices({
1621
required this.data,
1722
required this.opener,
1823
required this.picker,
24+
required this.storage,
1925
});
2026

2127
/// Настоящие службы для запущенного приложения.
2228
factory AppServices.production(AppData data) {
29+
// Единственное место, где расходятся платформы. На Windows у книги
30+
// есть настоящий путь и посредники не нужны; на Android пути нет
31+
// вовсе, и книга читается по закреплённой ссылке.
32+
final BookStorage storage = Platform.isAndroid
33+
? AndroidBookStorage()
34+
: const LocalBookStorage();
2335
return AppServices(
2436
data: data,
25-
opener: PdfrxDocumentOpener(),
26-
picker: const FileSelectorBookPicker(),
37+
storage: storage,
38+
opener: PdfrxDocumentOpener(storage: storage),
39+
picker: const FastBookPicker(),
2740
);
2841
}
2942

@@ -35,4 +48,7 @@ class AppServices {
3548

3649
/// Диалог выбора файла.
3750
final BookFilePicker picker;
51+
52+
/// Хранилище книг: приём файла и доступ к его байтам.
53+
final BookStorage storage;
3854
}

‎lib/application/library/book_importer.dart‎

Lines changed: 75 additions & 18 deletions
Original file line numberDiff line numberDiff line change
@@ -1,52 +1,109 @@
1-
import 'dart:io';
21
import 'dart:math';
32

43
import '../../domain/library/book.dart';
54
import '../../domain/library/book_file_picker.dart';
5+
import '../../domain/library/book_source.dart';
6+
import '../../domain/library/book_storage.dart';
67
import '../../domain/reading/reader_document.dart';
78
import '../../infrastructure/files/file_fingerprint.dart';
89

910
/// Заводит выбранный файл в библиотеке.
1011
///
11-
/// Полноценный импорт с обложками и сеткой книг — задача S5. Здесь ровно
12-
/// столько, сколько нужно чтению: у книги должен быть постоянный
12+
/// Полноценный импорт с обложками и сеткой книг — задача S5.2. Здесь
13+
/// ровно столько, сколько нужно чтению: у книги должен быть постоянный
1314
/// идентификатор, иначе некуда записать место, на котором её оставили.
1415
class BookImporter {
1516
/// Создаёт сценарий импорта.
1617
///
17-
/// [fingerprint] и [newId] подменяются в тестах: первый читает диск,
18+
/// [fingerprint] и [newId] подменяются в тестах: первый читает книгу,
1819
/// второй недетерминирован, и оба мешают проверять сам сценарий.
1920
BookImporter({
2021
required LibraryRepository library,
22+
required BookStorage storage,
2123
required DocumentOpener opener,
22-
Future<String> Function(String path)? fingerprint,
24+
Future<String> Function(BookHandle book)? fingerprint,
2325
String Function()? newId,
2426
DateTime Function()? now,
2527
}) : _library = library,
28+
_storage = storage,
2629
_opener = opener,
27-
_fingerprint = fingerprint ?? fileFingerprint,
30+
_fingerprint = fingerprint ?? bookFingerprint,
2831
_newId = newId ?? _randomId,
2932
_now = now ?? DateTime.now;
3033

3134
final LibraryRepository _library;
35+
final BookStorage _storage;
3236
final DocumentOpener _opener;
33-
final Future<String> Function(String path) _fingerprint;
37+
final Future<String> Function(BookHandle book) _fingerprint;
3438
final String Function() _newId;
3539
final DateTime Function() _now;
3640

37-
/// Регистрирует файл и возвращает книгу.
41+
/// Заводит выбранный файл и возвращает книгу.
3842
///
39-
/// Если такая книга уже в библиотеке (совпал отпечаток), заводится не
40-
/// вторая её копия, а обновляется путь у прежней: файл мог переехать,
41-
/// но место, на котором книгу оставили, принадлежит книге, а не пути.
43+
/// Сначала файл принимается хранилищем: на Android закрепляется
44+
/// разрешение на ссылку, а книга, которую нельзя читать кусками,
45+
/// потоково переносится к нам. Только потом она разбирается движком.
46+
///
47+
/// Если такая книга уже на полке (совпал отпечаток), заводится не
48+
/// вторая её копия, а обновляется источник у прежней: файл мог
49+
/// переехать, но место, на котором книгу оставили, принадлежит книге,
50+
/// а не файлу.
4251
///
4352
/// Бросает [DocumentOpenException], если файл не открывается: заводить
4453
/// в библиотеке книгу, которую нельзя прочесть, незачем.
4554
Future<Book> register(PickedFile file) async {
46-
final String hash = await _fingerprint(file.path);
47-
final Book? existing = await _library.bookByHash(hash);
55+
final BookSource source = await _storage.adopt(file);
56+
try {
57+
return await _save(source, titleFromFileName(file.name), null);
58+
} on Object {
59+
// Приняли файл, а прочесть не смогли: отпускаем принятое, чтобы
60+
// не копить в папке приложения копии нечитаемых книг и не держать
61+
// закреплённых ссылок в никуда.
62+
await _storage.release(source);
63+
rethrow;
64+
}
65+
}
4866

49-
final ReaderDocument document = await _opener.open(file.path);
67+
/// Привязывает книгу к заново выбранному файлу.
68+
///
69+
/// Нужно, когда файл переименовали, перенесли или отозвали разрешение
70+
/// на ссылку. Идентификатор книги остаётся прежним, поэтому место
71+
/// чтения, цитаты и заметки не теряются: они принадлежат книге, а не
72+
/// файлу.
73+
Future<Book> relink(Book book, PickedFile file) async {
74+
final BookSource source = await _storage.adopt(file);
75+
final BookSource previous = book.source;
76+
final Book relinked;
77+
try {
78+
relinked = await _save(source, book.title, book);
79+
} on Object {
80+
await _storage.release(source);
81+
rethrow;
82+
}
83+
if (previous != source) {
84+
await _storage.release(previous);
85+
}
86+
return relinked;
87+
}
88+
89+
/// Разбирает книгу и кладёт её на полку.
90+
///
91+
/// [known] — книга, к которой файл привязывается принудительно; если
92+
/// его нет, книга ищется по отпечатку.
93+
Future<Book> _save(BookSource source, String title, Book? known) async {
94+
final BookHandle handle = await _storage.open(source);
95+
final String hash;
96+
final int size;
97+
try {
98+
hash = await _fingerprint(handle);
99+
size = handle.length;
100+
} finally {
101+
await handle.close();
102+
}
103+
104+
final Book? existing = known ?? await _library.bookByHash(hash);
105+
106+
final ReaderDocument document = await _opener.open(source);
50107
final int pageCount;
51108
final bool textLayer;
52109
try {
@@ -56,13 +113,12 @@ class BookImporter {
56113
await document.close();
57114
}
58115

59-
final int size = await File(file.path).length();
60116
final DateTime moment = _now();
61117
final Book book = existing == null
62118
? Book(
63119
id: _newId(),
64-
title: titleFromFileName(file.name),
65-
filePath: file.path,
120+
title: title,
121+
source: source,
66122
fileSize: size,
67123
fileHash: hash,
68124
addedAt: moment,
@@ -71,8 +127,9 @@ class BookImporter {
71127
openedAt: moment,
72128
)
73129
: existing.copyWith(
74-
filePath: file.path,
130+
source: source,
75131
fileSize: size,
132+
fileHash: hash,
76133
pageCount: pageCount,
77134
hasTextLayer: textLayer,
78135
openedAt: moment,

0 commit comments

Comments
 (0)