gint : un noyau pour développer des add-ins
Posté le 20/02/2015 17:30
Ce topic fait partie de la série de topics du fxSDK.
En plus des options de programmation intégrée comme le Basic Casio ou Python, la plupart des calculatrices Casio supportent des
add-ins, des programmes natifs très polyvalents avec d'excellentes performances. Les add-ins sont généralement programmés en C/C++ avec l'aide d'un ensemble d'outils appelé SDK.
Plusieurs SDK ont été utilisés par la communauté avec le temps. D'abord le
fx-9860G SDK de Casio avec fxlib pour Graph monochromes (plus maintenu depuis longtemps). Puis le
PrizmSDK avec libfxcg pour Prizm et Graph 90+E (encore un peu actif sur Cemetech). Et plus récemment celui que je maintiens, le
fxSDK, dont gint est le composant principal.
gint est un unikernel, ce qui veut dire qu'il embarque essentiellement un OS indépendant dans les add-ins au lieu d'utiliser les fonctions de l'OS de Casio. Ça lui permet beaucoup de finesse sur le contrôle du matériel, notamment la mémoire, le clavier, l'écran et les horloges ; mais aussi de meilleures performances sur le dessin, les drivers et la gestion des interruptions, plus des choses entièrement nouvelles comme le moteur de gris sur Graph monochromes.
Les sources de gint sont sur la forge de Planète Casio :
dépôt Gitea Lephenixnoir/gint
Aperçu des fonctionnalités
Les fonctionnalités phares de gint (avec le fxSDK) incluent :
- Toutes vos images et polices converties automatiquement depuis le PNG, sans code à copier (via fxconv)
- Un contrôle détaillé du clavier, avec un GetKey() personnalisable et un système d'événements à la SDL
- Une bibliothèque standard C plus fournie que celle de Casio (voir fxlibc), et la majorité de la bibliothèque C++
- Plein de raccourcis pratiques, comme pour afficher la valeur d'une variable : dprint(1,1,"x=%d",x)
- Des fonctions de dessin, d'images et de texte optimisées à la main et super rapides, surtout sur Graph 90+E
- Des timers très précis (60 ns / 30 µs selon les cas, au lieu des 25 ms de l'OS), indispensables pour les jeux
- Captures d'écran et capture vidéo des add-ins par USB, en temps réel (via fxlink)
Avec quelques mentions spéciales sur les Graph monochromes :
Un moteur de gris pour faire des jeux en 4 couleurs !
La compatibilité SH3, SH4 et Graph 35+E II, avec un seul fichier g1a
Une API Unix/POSIX et standard C pour accéder au système de fichiers (Graph 35+E II seulement)
Et quelques mentions spéciales sur les Graph 90+E :
Une nouvelle police de texte, plus lisible et économe en espace
Le dessin en plein écran, sans les bordures blanches et la barre de statut !
Un driver écran capable de triple-buffering
Une API Unix/POSIX et standard C pour accéder au système de fichiers
Galerie d'add-ins et de photos
Voici quelques photos et add-ins réalisés avec gint au cours des années !
Arena (2016) — Plague (2021)
Rogue Life (2021)
Momento (2021)
Communication avec le PC (cliquez pour agrandir)
Utiliser gint pour développer des add-ins
Les instructions pour installer et utiliser gint sont données dans les divers tutoriels recensés dans le
topic du fxSDK. Il y a différentes méthodes de la plus automatique (GiteaPC) à la plus manuelle (compilation/installation de chaque dépôt). Le fxSDK est compatible avec Linux, Mac OS, et marche aussi sous Windows avec l'aide de WSL, donc normalement tout le monde est couvert
Notez en particulier qu'il y a des
tutoriels de développement qui couvrent les bases ; tout le reste est expliqué dans les en-têtes (fichiers
.h) de la bibliothèque que vous pouvez
consulter en ligne, ou dans les ajouts aux changelogs ci-dessous.
Changelog et informations techniques
Pour tester les fonctionnalités et la compatibilité de gint, j'utilise un add-in de test appelé gintctl (
dépôt Gitea Lephenixnoir/gintctl). Il contient aussi une poignée d'utilitaires d'ordre général.
Ci-dessous se trouve la liste des posts indiquant les nouvelles versions de gint, et des liens vers des instructions/tutoriels supplémentaires qui accompagnent ces versions.
Anecdotes et bugs pétés
Ô amateurs de bas niveau, j'espère que vous ne tomberez pas dans les mêmes pièges que moi.
TODO list pour les prochaines versions (2023-04-03)
gint 2.11
- Changements de contextes CPU. À reprendre du prototype de threading de Yatis pour permettre l'implémentation d'un véritable ordonnanceur. Demandé par si pour faire du threading Java.
- Applications USB. Ajouter le support de descripteurs de fichiers USB. Potentiellement pousser jusqu'à avoir GDB pour debugger.
- Support de scanf() dans la fxlibc. Codé par SlyVTT, plus qu'à nettoyer et fusionner.
Non classé
- Regarder du côté serial (plus facile que l'USB) pour la communication inter-calculatrices (multijoueur) et ultimement l'audio (libsnd de TSWilliamson).
- Un système pour recompiler des add-ins mono sur la Graph 90+E avec une adaptation automatique.
- Support des fichiers en RAM pour pouvoir utiliser l'API haut-niveau sur tous les modèles et éviter la lenteur de BFile à l'écriture quand on a assez de RAM.
Citer : Posté le 23/08/2020 18:51 | #
Yes, je me procure gint demain.
Citer : Posté le 27/08/2020 10:41 | #
Ah yes ! Bien joué je vais trouver le temps pour refaire l'image docker, même si y'a que moi qui l'utilise je trouve
Citer : Posté le 27/08/2020 10:47 | #
Il y a bien quelqu'un qui a essayé (https://gitea.planet-casio.com/Lephenixnoir/gint/issues/6) mais ça ne marchait déjà plus. xD
Citer : Posté le 31/08/2020 10:38 | #
Je crois que justement j'avais corrigé cette erreur quand j'avais vu le post un peu plus tard à ce moment là
Citer : Posté le 16/09/2020 20:33 | #
Aujourd'hui, en tentant d'implémenter la solution à un bug de Terrario causé par gint, j'ai croisé et résolu un bug parmi les plus pétés que j'ai eu la chance de voir, donc comme je l'ai fait parfois dans le passé voici un résumé. J'espère que ça évitera à quelqu'un de tomber dans le même piège.
TL;DR : Toujours spécifier les flags dans .section (eg. .section .my.super.text, "ax" ou .section .my.super.data, "aw").
Dans gint, il y a du code qui est exécuté avec SR.BL=1, c'est-à-dire sans exceptions ni interruptions. Ce code c'est les gestionnaires d'exceptions et d'interruptions, plus quelques routines qu'ils appellent. Lorsque SR.BL=1, les TLB miss sont désactivés et en provoquer un résulte en un crash. Il est donc absolument indispensable que le code de ces choses ne soit pas virtualisé. Pour cette raison, le manuel explique qu'il doit être dans P1 ou P2. Pour nous, ça veut dire qu'il faut connaître l'adresse physique d'un endroit où on peut charger le code. (On a bien de la RAM qui est virtualisée en permanence, mais on ne peut pas exécuter du code si on y accède via le MMU.)
À l'origine, dans le proof-of-concept de Kristaba qui a donné lieu à gint, le gestionnaire d'interruptions et les routines associées sont installées sauvagement à une adresse fixe qui n'était par chance utilisée pour rien. Avec l'évolution de l'OS la zone est maintenant utilisée pour plein de choses donc il est hors de question de charger du code là. J'ai donc décidé de charger le code au début de la RAM de l'add-in, ce qui n'est pas facile sur Graph mono car la zone est très petite (8k) et je veux pas trop empiéter dessus. L'adresse de cette zone est 8801c000 dans tous les modèles jusqu'à la Graph 35+E II.
Sur la Graph 35+E II, l'adresse change (c'est 88048000), mais actuellement gint utilise encore l'ancienne adresse, et écrase bien sûr des trucs au passage sans faire exprès. C'est ce qui cause le bug de Terrario dont je parlais tout à l'heure. La solution est simple : détecter l'adresse au démarrage (ça on sait faire) et charger le code au bon endroit. Pour des raisons historiques, les gestionnaires d'interruptions sont déjà chargés de cette façon depuis longtemps, et seules quelques fonctions restaient à déplacer.
J'ai donc sorti mon linker script, défini une section .gint.mapped pour isoler les fonctions à charger dynamiquement, modifié le code pour les appeler via des pointeurs sur fonctions, charger la section à la bonne adresse, calculer les pointeurs sur fonction après le chargement, et tout allait bien. Jusqu'à ce que je me prenne des System ERROR catégorie "Illegal Instr Err" avec TEA/PC = 0. Après avoir cherché pas mal, j'ai fini par réaliser deux choses :
• Quand le bug se produit, les contenus de .gint.mapped ne sont pas chargés en RAM, et en fait ils ne sont pas non plus à leur place en ROM ;
• L'apparition du bug est dépendante de l'ordre dans lequel le linker arrange les sections .gint.mapped issues des différents fichiers objets de l'add-in.
C'est après avoir constaté que les données étaient dans l'ELF mais pas dans le g1a que j'ai pensé que la section pouvait être NOLOAD. Et c'est exactement ce qui s'est passé. En fait, dans le code assembleur j'avais des .section .gint.mapped au milieu des fichiers, sans flags spécifiés. Le problème c'est que ça hérite les flags de la section précédente d'une façon un peu malsaine, et du coup les fichiers objets qui possédaient une section .gint.mapped dans l'add-in n'étaient pas du tout d'accord sur les flags, avec parfois des choses très gênantes comme CONTENTS, READONLY.
Le résultat, c'est que le linker combine les flags hétérogènes de ces sections d'entrée d'une façon qui dépend de l'ordre. Dans mon cas, certains ordres provoquaient l'apparition d'un LOAD tandis que d'autres ordres non. Bien sûr, quand il n'y a pas de LOAD, la section n'est pas supposée être chargée donc la conversion au format binaire pur par objcopy supprime les données. Et c'est ainsi qu'avant même d'arriver dans la calculatrice il n'y a plus rien. C'est fourbe car j'ai tendance à lire le fichier ELF avec objdump et pas le g1a, en oubliant que le passage du premier au second peut réserver des surprises.
Une fois qu'on a mis la main sur ça, c'est facile : bien spécifier les flags pour éviter l'absence de load. Pour du code, "ax" (le "a" est "allocatable", c'est ce qui donne le LOAD), et pour des données, "aw".
Ajouté le 17/09/2020 à 15:26 :
Que des changements internes, ce patch résout un problème de compatibilité Graph 35+E II qui peut notamment causer :
• Un crash à 801ebbac dans malloc() (notamment au démarrage lors de l'initialisation du moteur de gris)
• Une System ERROR lors du lancement de n'importe quelle application lorsqu'un add-in se termine
Nouvelles fonctionnalités :
• Ajouté un système de relocalisation du code indépendant du TLB (exécuté lorsque SR.BL=1) qui est désormais chargé à l'adresse physique de la RAM utilisateur déterminée dynamiquement (la Graph 35+E II n'utilise plus l'ancien 8801c000) ; les fonctions concernées sont appelés via des pointeurs.
• Étendu l'API du module MMU pour faciliter l'accès aux adresses physiques et notamment celle de la RAM utilisateur.
Changements :
• Modifié les drivers TMU, ETMU, RTC, et la méthode d'appel des fonctions de traitement des exceptions (gint_exc_catch) pour éviter l'usage de GMAPPED.
• Remanié le driver ETMU en conséquence.
• Modifié la méthode de calcul de la VBR pour utiliser l'adresse dynamique de la RAM utilisateur au lieu de celle fixe fournie par le linker script.
Suppressions :
• Supprimé la macro GMAPPED, qui n'est plus nécessaire dans le code utilisateur ; seul le code assembleur est concerné.
Instructions de mise à jour :
1. Tirez le code mis à jour sur les branches master ou dev (git pull)
2. Recompilez et réinstallez gint pour votre compilateur (make puis make install)
3. Recompilez et relinkez vos projets (make -B)
Instructions de migration :
Si vous utilisez gint_exc_catch() pour détecter ou corriger des exceptions, retirez GMAPPED de la fonction concernée. Sinon, rien à modifier.
Testé sur : Graph 35+ SH3, Graph 75+E, Graph 35+E II, Graph 90+E
Citer : Posté le 15/10/2020 13:09 | #
Derniere ligne droite !
Erreur : j'obtiens ca :
bash: ../configure: No such file or directory
Lors de ../configure ...
Ajouté le 15/10/2020 à 13:16 :
Je n'ai pas fait de copie du dépot, il faut en faire une ?
Citer : Posté le 15/10/2020 13:27 | #
En général ça marche mieux quand on a les fichiers sur son PC.
Citer : Posté le 15/10/2020 13:34 | #
Ah oui !
Je suis le genre de mec con qui suit le readme à la lettre sans reflechir 2 secondes
Ajouté le 15/10/2020 à 13:34 :
Bon par contre a près clonage du dépot toujours la meme erreur...
Citer : Posté le 15/10/2020 13:36 | #
Il faut être dans le dossier sinon ça marche pas.
cd gint
mkdir build.fx && cd build.fx
../configure --target=fx9860g
Citer : Posté le 15/10/2020 13:36 | #
Je dois le cloner ou le depot ( genre dans quel doss ) ?
Ajouté le 15/10/2020 à 13:43 :
désolé je ne m'y connais pas du tout en linux
Citer : Posté le 15/10/2020 13:45 | #
N'importe où, c'est pas important. Si possible dans ton $HOME quand même
Citer : Posté le 15/10/2020 13:46 | #
ok !
Ajouté le 15/10/2020 à 13:49 :
ModuleNotFoundError: No module named 'PIL'
Maintenant j'ai ca au make ...
Ajouté le 15/10/2020 à 13:49 :
un jour je vais y arriver
Citer : Posté le 15/10/2020 13:52 | #
sudo apt-get install python3-pil (source)
Tu connais l'existence des moteurs de recherche ? Genre au pif Qwant, DuckDuckGo ou Google ?
La commande au dessus est le premier résultat qui sort quand je copie/colle ton erreur…
Citer : Posté le 15/10/2020 13:53 | #
Justement je l'avais fait avant mais E: Unable to locate package python-pip
Ajouté le 15/10/2020 à 13:54 :
en fait c'est bon !
Citer : Posté le 15/10/2020 13:54 | #
STFW
Citer : Posté le 15/10/2020 13:55 | #
Justement j'y étais !
Ajouté le 15/10/2020 à 13:56 :
Merci !
L'installation est finie, !
Citer : Posté le 24/10/2020 17:06 | #
Je signale que j'ai porté OpenLibm à l'improviste et en mode freestyle complet, et ça marche du tonnerre ! On a donc un lib de calcul en point flottant pour tous projets, sans prise de tête.
Les instructions de compilation sont complètes mais il y a un détail d'include que je pousserai bientôt dans le fxSDK. En tous cas, plus besoin de newlib pour avoir la lib mathématique. Non seulement OpenLibm est bien plus petite, mais en plus ce sera je pense l'addition parfaite à FxLibC pour gint.
Comme ça commence à faire pas mal de libs et logiciels compilables pour développer des add-ins (en tout : GCC, FxLibC, OpenLibm, gint lui-même, libprof, libimg...) j'envisage de remodeler le fxSDK pour automatiser l'installation. Je pourrais packager pour toutes les distributions mais la charge de travail est énorme par rapport à simplement avec un script pour clôner et compiler des dépôts Git. Je veux pas que ça se finisse en gestionnaire de paquets mais pas non plus y passer des mois.
Citer : Posté le 24/10/2020 17:46 | #
j'ai une erreur, il dir que l'argument '-big' existe pas
Citer : Posté le 24/10/2020 18:03 | #
J'ai déjà vu cette erreur mais je serais bien incapable de te dire où est le problème. Comme d'habitude tu sautes vraiment tous les détails... tu as installé quoi, et tu compiles quoi, avec quel compilateur, avec quelles options ?
Citer : Posté le 24/10/2020 18:36 | #
j'ai fais le config et make
EDIT:
j'ai installé debian en dual boot (la je suis sur windows)
Citer : Posté le 24/10/2020 18:55 | #
Il manque encore un tas d'infos pour qu'on puisse te donner une réponse efficace…